專(zhuān)業(yè)的廣州網(wǎng)站建設(shè)、廣州網(wǎng)站制作公司為您服務(wù)，電話(huà)：020-85548809，29883069
手機(jī)訪問(wèn)
微信關(guān)注
網(wǎng)站導(dǎo)航
添加時(shí)間：2012/9/23 15:45:51 編輯：奇億網(wǎng)站建設(shè)公司
如果一個(gè)網(wǎng)站有很多內(nèi)容，吸引到各大搜索引擎蜘蛛不停晝夜地爬行勢(shì)必會(huì)給服務(wù)器資源造成極大的浪費(fèi)，特別如果又是流量比較大的站的話(huà)更易被無(wú)效蜘蛛占用，下面通過(guò)robots協(xié)議（也稱(chēng)為爬蟲(chóng)協(xié)議、爬蟲(chóng)規(guī)則、機(jī)器人協(xié)議等）也就是robots.txt即可限制在每天爬行多少次，補(bǔ)充：robots協(xié)議即網(wǎng)站通過(guò)robots協(xié)議告訴搜索引擎哪些頁(yè)面可以抓取，哪些頁(yè)面不能抓取。
將以下內(nèi)容保存為robots.txt文件，然后傳到根目錄即可。
#限制的搜索引擎的User-Agent代碼，*表示所有###########
User-agent: *
Crawl-delay:2000
Disallow: js/
Disallow: template/
Disallow: include/
Disallow: gotourl.php
其中2000是告訴蜘蛛每天只能爬行2000次，Disallow是告訴蜘蛛不要爬行的目錄。
About us
Station set
Latest News
QR code
Contact us
※零六年起至今專(zhuān)注企業(yè)網(wǎng)站建設(shè) ※廣州企業(yè)建站十大品牌 ※企業(yè)互聯(lián)網(wǎng)應(yīng)用領(lǐng)航者 ※正規(guī)公司專(zhuān)業(yè)服務(wù)標(biāo)準(zhǔn)化建站 ※一流技術(shù)團(tuán)隊(duì)服務(wù)后顧無(wú)憂(yōu)
版權(quán)所有：『廣州網(wǎng)站建設(shè)公司』— 廣州奇億網(wǎng)絡(luò)科技有限公司 www.zsrxys.cn 粵ICP備16102461號(hào)-2