網站避免蜘蛛爬行隱秘文件之robots.txt爬行語法規則

[重要通告]如您遇疑難雜癥,本站支持知識付費業務,掃右邊二維碼加博主微信,可節省您寶貴時間哦!

網站避免蜘蛛爬行隱秘文件之robots.txt爬行語法規則
================================
網站蜘蛛robots.txt爬行語法規則如下哈：
robots.txt語法其實很簡單，robots.txt是一個最簡單的.txt文件，
用以告訴搜索引擎哪些網頁可以收錄，哪些不允許收錄。
那今天本博客就先為大家介紹robots.txt語法基礎知識，
然后再提供幾個經常要用到的robots.txt語法例子給朋友們參考。
robots.txt語法規則
最簡單的 robots.txt 語法使用兩條規則：
　　User-Agent: 后面為搜索機器人的名稱，后面如果是*，則泛指所有的搜索機器人
　　Disallow: 限制搜索引擎不能訪問網站中的哪些部分，Disallow后可以寫目錄名，文件擴展名，特定的程序文件結構。
robots.txt語法示例
讓所有機器人訪問所有文件(通配符”*”表示所有的意思)
1、攔截所有的機器人訪問網站
User-agent: *
Disallow: /
2、禁止所有機器人訪問特定目錄：
User-agent: *
Disallow: /public/
Disallow: /images/
Disallow: /temp/
Disallow: /include/
3、禁止特定搜索引擎蜘蛛訪問特定目錄(這里我們以百度蜘蛛為例說明)
User-agent: Baiduspider
Disallow: /test/
上面的robots.txt語法示例的意思是禁止百度蜘蛛爬行根目錄下的test目錄
4、僅禁止Baiduspider抓取.jpg格式圖片的robots.txt語法
User-agent: Baiduspider
Disallow: .jpg$
大家在學習robots.txt語法時,可能會感到納悶的是:有那么多搜索引擎，那我不是要知道所有搜索引擎蜘蛛的名字。并不是這樣的，我們只要知道常見的搜索引擎名字就可以了。下面就帶大家來認識幾大個搜索引擎蜘蛛名稱。
1、Google爬蟲名稱: Googlebot
2、百度（Baidu）爬蟲名稱：Baiduspider
3、雅虎（Yahoo）爬蟲名稱：Yahoo Slurp
4、有道（Yodao）蜘蛛名稱：YodaoBot
5、搜狗（sogou）蜘蛛名稱：sogou spider
6、MSN的蜘蛛名稱(微軟最新搜索引擎Bing蜘蛛名也是這個)：Msnbot