6、什么是Robots?Robots.txt文件放在哪里?

發(fā)布時間:2019-11-12 19:49:23   瀏覽人數(shù): 9922 次  

答:搜索引擎通過一種程序robot(又稱spider),自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。

可以在網(wǎng)站中創(chuàng)建一個純文本文件robots.txt,在這個文件中聲明該網(wǎng)站中不想被robot訪問的部分,這樣,該網(wǎng)站的部分或全部內(nèi)容就可以不被搜索引擎收錄了,或者指定搜索引擎只收錄指定的內(nèi)容。

robots.txt文件應(yīng)該放在網(wǎng)站根目錄下。舉例來說,當(dāng)robots訪問一個網(wǎng)站(比如http://www.abc.com)時,首先會檢查該網(wǎng)站中是否存在http://www.abc.com/robots.txt這個文件,如果機(jī)器人找到這個文件,它就會根據(jù)這個文件的內(nèi)容,來確定它訪問權(quán)限的范圍。


資料來源網(wǎng)絡(luò),僅供學(xué)習(xí)交流,如您發(fā)現(xiàn)本文中有涉嫌抄襲,請發(fā)送郵件至:support@iisp.com,一經(jīng)查實(shí),本站將立刻刪除涉嫌侵權(quán)內(nèi)容。


上一篇:7、什么是外鏈?如何做?
下一篇:5、什么是sitemap?

旗下網(wǎng)站:耐思智慧 - 淘域網(wǎng) - 我的400電話 - 中文域名:耐思尼克.cn 耐思尼克.top

耐思智慧 © 版權(quán)所有 Copyright © 2000-2025 IISP.COM,Inc. All rights reserved

備案號碼: 粵ICP備09063828號  公安備案號: 公安備案 粵公網(wǎng)安備 44049002000123號  域名注冊服務(wù)機(jī)構(gòu)許可:粵D3.1-20240003 CN域名代理自深圳萬維網(wǎng)

聲明:本網(wǎng)站中所使用到的其他各種版權(quán)內(nèi)容,包括但不限于文章、圖片、視頻、音頻、字體等內(nèi)容版權(quán)歸原作者所有,如權(quán)利所有人發(fā)現(xiàn),請及時告知,以便我們刪除版權(quán)內(nèi)容

本站程序界面、源代碼受相關(guān)法律保護(hù), 未經(jīng)授權(quán), 嚴(yán)禁使用; 耐思智慧 © 為我公司注冊商標(biāo), 未經(jīng)授權(quán), 嚴(yán)禁使用

法律顧問:珠海知名律師 廣東篤行律師事務(wù)所 夏天風(fēng) 律師

主站蜘蛛池模板: 无码国产成人av在线播放| 欧美老肥妇BBWBBWBBWPICS| 国产在线精品国自产拍影院同性| 91欧美激情一区二区三区成人| 妇女被猛烈进入在线播放| 久99久精品免费视频热77| 极品校花yin乱合集| 亚洲欧洲日产国产最新| 熟女老女人的网站| 北条麻妃一区二区三区av高清 | 日产精品99久久久久久| 久久香蕉国产线看精品| 欧美亚洲国产成人综合在线| 亚洲欧美另类国产| 熟女老女人的网站| 免费人妻无码不卡中文字幕18禁| 精品无码一区二区三区亚洲桃色 | av成人在线电影| 少妇无码太爽了不卡视频在线看| 中文字幕亚洲综合久久综合| 日本不卡视频免费| 久久国产精品免费一区| 日韩在线视频观看| 亚洲av永久无码精品水牛影视 | 中文日本免费高清| 日本3p视频在线看高清| 久久天堂AV综合色无码专区| 国产在线观看91精品不卡| 国产浮力第一页草草影院| 国产手机在线αⅴ片无码观看| 毛茸茸bbw亚洲人| 国产精品福利久久香蕉中文| 91久久香蕉国产线看观看软件| 在线精品一区二区三区电影| aaa毛片在线| 天堂√在线中文最新版8| eeuss影院免费直达入口| 女人与禽牲交少妇| www深夜视频在线观看高清| 小说区亚洲自拍另类| 一本色道久久88|