大家都知道百度蜘蛛(Baiduspider)爬蟲對網(wǎng)站的爬取對于網(wǎng)站的收錄和索引有很大幫助，甚至能夠快速在百度首頁通過關(guān)鍵詞搜索直達您的網(wǎng)站,，但也并不是所有的百度蜘蛛都是對權(quán)重有幫助的,，但是了解百度蜘蛛的爬行對于我們了解網(wǎng)站的還是非常有幫助，特別是對于做網(wǎng)站SEO優(yōu)化,，能夠制定更合適的優(yōu)化方案,。
要了解百度蜘蛛就要學會進行網(wǎng)站日志分析，因為網(wǎng)站的每一個正常訪問都會留下被網(wǎng)站日志記錄下來,，下面一起邊分析日志邊列舉了百度不同IP段常見蜘蛛的一些情況介紹,，及所謂的降權(quán)蜘蛛，沙盒蜘蛛,，高權(quán)重蜘蛛說明等等,。
百度蜘蛛(Baiduspider)爬取
是搜索引擎獲得頁面內(nèi)容的一個重要的途徑,，通過蜘蛛的抓取可以得到一個頁面的最主要的內(nèi)容從而收錄百度數(shù)據(jù)庫系統(tǒng)，每次抓取之后都會再與數(shù)據(jù)庫原有的信息進行比對,，來確定頁面的總體質(zhì)量,。
那么，每當蜘蛛來抓取的時候都會被網(wǎng)站日志文件記錄下來,，具體包括抓取時間,，抓取的頁面以及蜘蛛來路IP地址，上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度,，從側(cè)面也反映出整個網(wǎng)站不同頁面的權(quán)重值,，通過自己一系列的分析，可以較為準確的評估整站的權(quán)重分布,，對于seo,、文章內(nèi)容價值、用戶體驗都起到很好的參考價值,。
經(jīng)常聽到站長們問,，百度蜘蛛是什么?最近百度蜘蛛來的太頻繁服務(wù)器抓爆了，最近百度蜘蛛都不來了怎么辦,，還有很多站點想得到百度蜘蛛的IP段,，想把IP加入白名單，但IP不固定,，我們無法對外公布,。
那怎么才能識別正確的百度蜘蛛呢?來來來，只需兩步,，教你正確識別百度蜘蛛
1,、查看UA，如果UA都不對,，可以直接判斷非百度搜索的蜘蛛,，目前對外公布過的UA是：
移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
新增渲染UA:
移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2、反查IP
站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎,。根據(jù)平臺不同驗證方法不同,，如linux/windows/os三種平臺下的驗證方法分別如下：
1)、在linux平臺下,，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取,。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
2)、在windows平臺或者IBM OS/2平臺下,，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取,。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx(IP地 址)就能解析ip,， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
3)、 在mac os平臺下,，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取,。打開命令處理器 輸入dig xxx.xxx.xxx.xxx(IP地 址)就能解析ip， 來判斷是否來自Baiduspider的抓取,，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充。
下面的百度蜘蛛IP造訪,，準備抓取你東西,，抓取網(wǎng)頁的百度蜘蛛。
60.172.229.61
61.129.45.72
61.135.162.*
百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185
(百度聯(lián)盟爬蟲),，說白了就是百度統(tǒng)計,。
61.135.186.*
站長工具模仿的百度蜘蛛。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42
114站長工具箱(這個是你的網(wǎng)站不穩(wěn)定時常來的)
119.147.114.213
121.10.141.*
百度圖片爬蟲
123.15.**.**
這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán),。
123.125.68.*
抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章暫時被收錄但不放出來(意思也就是說待定),，因不是原創(chuàng)或采集文章。(百度網(wǎng)頁爬蟲(百度圖片爬蟲)
123.125.71.*
搜外站長工具蜘蛛,。
124.248.34.52
也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多，還有使用過站長工具,，或SEO綜合檢測造成的,，沒有多大用。 125.90.88.*
百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107
偽裝百度蜘蛛IP
180.149.130.*
這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后,。
183.91.40.144
203.208.60.*
這個ip段不間斷巡邏各站，就是路過一下,。
210.72.225.*
每天這個IP 段只增不減很有可能進沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*
主要是抓取首頁占80%,，內(nèi)頁占30%，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新,，蜘蛛來過，如果是 200 0 64別擔心這不是K站,，可能是網(wǎng)站是動態(tài)的,，所以返回就是這個代碼,。
220.181.108.*
代表百度蜘蛛IP來訪準備抓取你東西
220.181.7.*
123.125.66.*
這個ip段作為度過新站考察期
121.14.89.*
這個ip段出現(xiàn)在新站或站點有不正常現(xiàn)象后
203.208..60.*
這個ip段不間斷巡邏各站
210.72.225.*
這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網(wǎng)站會天天隔夜快照,，絕對錯不了的
220.181.108.95
98%抓取首頁可能還會抓取其他「不是指內(nèi)頁)屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來.
220.181.108.92
抓取內(nèi)頁收錄的 權(quán)重較低 爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章
123.125.71.106
屬于綜合的,。主要抓取首頁和內(nèi)頁或者其它頁面。屬于權(quán)重IP段, 抓過的文章或首頁基本24小時放出來
220.181.108.91
重點抓取更新文章的內(nèi)頁達到90%,8%的抓取首頁,2%其他權(quán)重ip段,抓過的文章或首頁基本24小時放出來
220.181.108.75
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.86
抓取內(nèi)頁收錄的,，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.125.71.95
123.125.71.97
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77
抓取內(nèi)頁收錄的， 權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.181.108.77
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.83
附錄百度蜘蛛IP地址
123.125.68.* 這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán)。
220.181.68.* 每天這個IP段只增不減很有可能進沙盒或K站,。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,，準備抓取你東西。
121.14.89.* 這個ip段作為度過新站考察期,。
203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后。
210.72.225.*這個ip段不間斷巡邏各站,。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多,，還有使用過站長工具，或SEO綜合檢測造成的,。
220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照,。(悲劇的我竟然屏蔽了這個IP)
220.181.108.92同上98%抓取首頁，可能還會抓取其他(不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來,。(嗯,，還有這個也屏蔽了，暈死了!)
123.125.71.106抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。(這個也有,，汗!)
220.181.108.91屬于綜合的，主要抓取首頁和內(nèi)頁或其他,，屬于權(quán)重IP段，爬過的文章或首頁基本24小時放出來,。
220.181.108.75重點抓取更新文章的內(nèi)頁達到90%,，8%抓取首頁,，2%其他。權(quán)重IP段,，爬過的文章或首頁基本24小時放出來。(這個,，……!)
220.181.108.86專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新,。(還有這個……)
123.125.71.95抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。
123.125.71.97抓取內(nèi)頁收錄的,，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
220.181.108.89專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新,。(好吧,，220開頭的好像都被我屏蔽了，下手真心有點兒太狠了!)
220.181.108.94專用抓取首頁IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.97專用抓取首頁IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.80專用抓取首頁IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.77專用抓首頁IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
123.125.71.117抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或是采集文章,。
注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁收錄的權(quán)重比較低,，可能由于你采集文章或拼文章暫時被收錄但不放出來.。
220.181.108.83專用抓取首頁IP權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.*段IP主要是抓取首頁占80%,，內(nèi)頁占30%,，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的!
一般成功抓取返回代碼都200,，返回304代表網(wǎng)站沒更新,。
【DZ案例分析】
之前和大家分享過discuz蜘蛛爬行記錄插件的安裝,，在蜘蛛爬行記錄的那個插件里，并不是所有過來的百度蜘蛛都是百度的,，其他搜索引擎也可以偽裝成百度的IP段，所以現(xiàn)在就和大家來探討百度常見的IP段有哪些!
例如：
在張圖片的記錄中117.28.255.37點前面雖然寫的是百度,，其實并不是百度蜘蛛的IP段,，以下是常見的百度蜘蛛IP段：
根據(jù)不同的IP我們可以分析網(wǎng)站是個怎樣的狀態(tài).下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán)。
220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站,。
220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,，準備抓取你東西。
121.14.89.*這個ip段作為度過新站考察期,。
203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后,。
210.72.225.*這個ip段不間斷巡邏各站。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多，還有使用過站長工具,，或SEO綜合檢測造成的。
220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照,，絕對錯不了的，我保證,。
220.181.108.92 同上98%抓取首頁，可能還會抓取其他 (不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來。
123.125.71.106 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。
220.181.108.91屬于綜合的,，主要抓取首頁和內(nèi)頁或其他，屬于權(quán)重IP 段,，爬過的文章或首頁基本24小時放出來。
220.181.108.75重點抓取更新文章的內(nèi)頁達到90%,，8%抓取首頁，2%其他,。權(quán)重IP 段,，爬過的文章或首頁基本24小時放出來。
220.181.108.86專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
123.125.71.95 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
123.125.71.97 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。
220.181.108.89專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.94專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.97專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.80專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.77 專用抓首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
123.125.71.117 抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。
220.181.108.83專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
注：以上IP尾數(shù)還有很多,，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定),。
220.181.108.*段IP主要是抓取首頁占80%，內(nèi)頁占30%,，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的,，這點我可以保證.
