User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /ABC 這里定義是禁止爬尋ABC整個目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄
Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
Disallow: /*?* 禁止訪問網(wǎng)站中所有的動態(tài)頁面
Disallow: .jpg$ 禁止抓取網(wǎng)頁所有的.jpg格式的圖片
Disallow:/ab/adc.html 禁止爬去ab文件夾下面的adc.html所有文件
User-agent: * 這里的*代表的所有的搜索引擎種類，*是一個通配符
Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
Allow: .gif$ 允許抓取網(wǎng)頁和gif格式圖片robots.txt文件用法舉例
本站文章均為永諾網(wǎng)站建設(shè)摘自權(quán)威資料，書籍，或網(wǎng)絡(luò)原創(chuàng)文章，如有版權(quán)糾紛或者違規(guī)問題，請即刻聯(lián)系我們刪除，我們歡迎您分享，引用和轉(zhuǎn)載，我們謝絕直接復(fù)制和抄襲！感謝...
猜你喜歡
聯(lián)絡(luò)方式：
電話：15038330582
郵箱：278477169@qq.com
掃描名片 
我們猜你喜歡
-
如何查看自己網(wǎng)站是否有蜘蛛來過
什么是baiduspider？baiduspider是百度搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的html網(wǎng)頁，建立索引數(shù)據(jù)庫，使用戶能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁。baiduspider...
-
計算系統(tǒng)APP功能軟件開發(fā)
計算器這個看似簡單的應(yīng)用，當(dāng)你一旦著手去制作時，就會發(fā)現(xiàn)寫出來的程序漏洞百出，一些機(jī)器的邏輯對人來說非常的簡單，對于軟件來說卻非常的難。一定要將每個細(xì)節(jié)都照顧到，程序...
-
客戶成交率做到100%的一些方法
成交是每個企業(yè)都夢寐以求的，而成交率因企業(yè)的實力、銷售能力不同而大有不同，我見過成交率低的，幾乎沒有成交，結(jié)果沒多久公司倒閉了。成交率高的做到了100%，我在群里跟朋友們...
-
水果鮮花類的小程序怎么做
網(wǎng)上購買一份對應(yīng)行業(yè)類型的源碼，或者第三方的Saas軟件會員，找一個類型的小程序。 步驟一：創(chuàng)建店鋪 打開第三方的Saas會員平臺，注冊賬號，選擇好符合自己行業(yè)的小程序...
-
如何提高網(wǎng)站權(quán)重
網(wǎng)站權(quán)重一直是我們做SEO優(yōu)化經(jīng)常會討論的一個問題么，如何提高網(wǎng)站權(quán)重，該怎么提升網(wǎng)站的權(quán)重，通過哪些方式方法，總感覺網(wǎng)站權(quán)重上來了，網(wǎng)站的優(yōu)化就做上去了，接下來推推蛙就簡單...
