大家進行網(wǎng)站日志分析的時候,，常見到很多不同IP段的百度蜘蛛,，為了方便大家更好的進行日志分析,，下面列舉了百度不同IP段常見蜘蛛的一些詳情情況,，及所謂的降權蜘蛛,，沙盒蜘蛛,，高權重蜘蛛等等,。

眾所周知，百度蜘蛛爬蟲對于網(wǎng)站SEO有很好的索引和幫助,，能夠快速在百度首頁通過關鍵詞搜索直達您的網(wǎng)站,。

百度蜘蛛(Baiduspider)爬取

是搜索引擎獲得頁面內(nèi)容的一個重要的途徑，通過蜘蛛的抓取可以得到一個頁面的最主要的內(nèi)容從而收錄百度數(shù)據(jù)庫系統(tǒng),，每次抓取之后都會再與數(shù)據(jù)庫原有的信息進行比對,，來確定頁面的總體質(zhì)量。

那么,，每當蜘蛛來抓取的時候都會被網(wǎng)站日志文件記錄下來,，具體包括抓取時間，抓取的頁面以及蜘蛛來路IP地址,，上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度,，從側(cè)面也反映出整個網(wǎng)站不同頁面的權重值，通過自己一系列的分析,，可以較為準確的評估整站的權重分布,，對于seo、文章內(nèi)容價值、用戶體驗都起到很好的參考價值,。

經(jīng)常聽到站長們問,，百度蜘蛛是什么？最近百度蜘蛛來的太頻繁服務器抓爆了,，最近百度蜘蛛都不來了怎么辦,，還有很多站點想得到百度蜘蛛的IP段，想把IP加入白名單,，但IP不固定,，我們無法對外公布。

那怎么才能識別正確的百度蜘蛛呢,？來來來,，只需兩步，教你正確識別百度蜘蛛

1,、查看UA,，如果UA都不對，可以直接判斷非百度搜索的蜘蛛,，目前對外公布過的UA是：

移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）

新增渲染UA:

移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

2,、反查IP

站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同,，如linux/windows/os三種平臺下的驗證方法分別如下：

1）,、在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取,。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充。

2),、在windows平臺或者IBM OS/2平臺下,，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip,， 來判斷是否來自Baiduspider的抓取,，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充,。

3）,、 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取,。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip,， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充,。

下面的百度蜘蛛IP造訪,，準備抓取你東西，抓取網(wǎng)頁的百度蜘蛛,。
60.172.229.61
61.129.45.72
61.135.162.*

百度競價蜘蛛
61.135.165.134
117.34.74.66
118.122.188.194
119.63.196.9
125.39.78.185

（百度聯(lián)盟爬蟲）,，說白了就是百度統(tǒng)計。
61.135.186.*

站長工具模仿的百度蜘蛛,。
61.147.98.146
61.188.39.16
113.98.254.245
117.21.220.245
117.28.255.42

114站長工具箱（這個是你的網(wǎng)站不穩(wěn)定時常來的）
119.147.114.213
121.10.141.*

百度圖片爬蟲
123.15.**.**

這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權。
123.125.68.*

抓取內(nèi)頁收錄的,，權重較低，爬過此段的內(nèi)頁文章暫時被收錄但不放出來(意思也就是說待定),，因不是原創(chuàng)或采集文章,。（百度網(wǎng)頁爬蟲（百度圖片爬蟲）
123.125.71.*

搜外站長工具蜘蛛。
124.248.34.52

也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多,，還有使用過站長工具，或SEO綜合檢測造成的,，沒有多大用,。 125.90.88.*

百度蜘蛛
159.226.50.*
180.76.5.*
180.76.5.87
220.181.158.107

偽裝百度蜘蛛IP
180.149.130.*

這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后,。
183.91.40.144
203.208.60.*

這個ip段不間斷巡邏各站,，就是路過一下。
210.72.225.*

每天這個IP 段只增不減很有可能進沙盒或K站
218.30.118.102
220.181.68.*
123.125.68.*
220.181.68.*

主要是抓取首頁占80%,，內(nèi)頁占30%,，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新,，蜘蛛來過,，如果是 200 0 64別擔心這不是K站，可能是網(wǎng)站是動態(tài)的,，所以返回就是這個代碼,。
220.181.108.*

代表百度蜘蛛IP來訪準備抓取你東西
220.181.7.*
123.125.66.*

這個ip段作為度過新站考察期
121.14.89.*

這個ip段出現(xiàn)在新站或站點有不正常現(xiàn)象后
203.208..60.*

這個ip段不間斷巡邏各站
210.72.225.*

這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網(wǎng)站會天天隔夜快照,，絕對錯不了的
220.181.108.95

98%抓取首頁可能還會抓取其他「不是指內(nèi)頁）屬于權重IP段此段爬過的文章或首頁基本24小時放出來.
220.181.108.92

抓取內(nèi)頁收錄的 權重較低 爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章
123.125.71.106

屬于綜合的,。主要抓取首頁和內(nèi)頁或者其它頁面。屬于權重IP段, 抓過的文章或首頁基本24小時放出來
220.181.108.91

重點抓取更新文章的內(nèi)頁達到90%,8%的抓取首頁,2%其他權重ip段,抓過的文章或首頁基本24小時放出來
220.181.108.75

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.86

抓取內(nèi)頁收錄的,，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.125.71.95
123.125.71.97

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新
220.181.108.89
220.181.108.94
220.181.108.97
220.181.108.80
220.181.108.77

抓取內(nèi)頁收錄的， 權重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)
123.181.108.77

專用抓取首頁ip 權重段,一般返回代碼304 0 0代表未更新

220.181.108.83

附錄百度蜘蛛IP地址

• 123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權,。
• 220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站,。
• 220.181.7.*、123.125.66.*代表百度蜘蛛IP造訪,，準備抓取你東西,。
• 121.14.89.*這個ip段作為度過新站考察期。
• 203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后,。
• 210.72.225.*這個ip段不間斷巡邏各站。
• 125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分,，是新上線站較多,，還有使用過站長工具，或SEO綜合檢測造成的,。
• 220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照,。（悲劇的我竟然屏蔽了這個IP）
• 220.181.108.92同上98%抓取首頁,，可能還會抓取其他(不是指內(nèi)頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來。（嗯,，還有這個也屏蔽了,，暈死了！）
• 123.125.71.106抓取內(nèi)頁收錄的,，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。（這個也有,，汗！）
• 220.181.108.91屬于綜合的,，主要抓取首頁和內(nèi)頁或其他,，屬于權重IP段，爬過的文章或首頁基本24小時放出來,。
• 220.181.108.75重點抓取更新文章的內(nèi)頁達到90%,，8%抓取首頁，2%其他,。權重IP段,，爬過的文章或首頁基本24小時放出來。（這個,，……,！）
• 220.181.108.86專用抓取首頁IP權重段，一般返回代碼是30400代表未更新,。（還有這個……）
• 123.125.71.95抓取內(nèi)頁收錄的,，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。
• 123.125.71.97抓取內(nèi)頁收錄的,，權重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
• 220.181.108.89專用抓取首頁IP權重段，一般返回代碼是30400代表未更新,。（好吧,，220開頭的好像都被我屏蔽了，下手真心有點兒太狠了,！）
• 220.181.108.94專用抓取首頁IP權重段,，一般返回代碼是30400代表未更新。
• 220.181.108.97專用抓取首頁IP權重段,，一般返回代碼是30400代表未更新。
• 220.181.108.80專用抓取首頁IP權重段,，一般返回代碼是30400代表未更新,。
• 220.181.108.77專用抓首頁IP權重段，一般返回代碼是30400代表未更新,。
• 123.125.71.117抓取內(nèi)頁收錄的,，權重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或是采集文章,。

注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁收錄的權重比較低,，可能由于你采集文章或拼文章暫時被收錄但不放出來.,。

• 220.181.108.83專用抓取首頁IP權重段，一般返回代碼是30400代表未更新,。
• 220.181.108.*段IP主要是抓取首頁占80%,，內(nèi)頁占30%，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的!

一般成功抓取返回代碼都200,，返回304代表網(wǎng)站沒更新。

Google蜘蛛IP地址

216.239.33.*

216.239.35.*

216.239.37.*

216.239.39.*

216.239.51.*

216.239.53.*

216.239.55.*

216.239.57.*

216.239.59.*

64.233.161.*

64.233.189.*

66.102.11.*

66.102.7.*

66.102.9.*

66.249.64.*

66.249.65.*

66.249.66.*

66.249.71.*

66.249.72.*

72.14.207.*

谷歌蜘蛛IP段解析

202.101.43.*,、222.73.247.*,、66.249.65.*這三個ip段是最為常規(guī)出現(xiàn)的

66.249.16.*出現(xiàn)的站點均為新站或站點出現(xiàn)無法訪問情況后再次出現(xiàn)的ip段

210.72.225.*這個ip段不間斷巡邏各站

203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后

360蜘蛛IP段

101.226.166.*(101.226.166.195~101.226.166.254,，共60個)

101.226.167.*(101.226.167.195~101.226.167.254,，共60個)

101.226.168.*(101.226.168.195~101.226.168.254,，共60個)

101.226.169.*(101.226.169.195~101.226.169.230，共36個)

180.153.236.*(180.153.236.11~26,；180.153.236.35~180.153.236.74,；180.153.236.101~180.153.236.196，共152個)

182.118.20.*(182.118.20.201~182.118.20.254,，共39個)

182.118.21.*(182.118.21.201~182.118.21.*254,，共54個)

182.118.22.*(182.118.22.141~182.118.22.149；182.118.22.211~182.118.22.250,，共64個)

182.118.25.*(182.118.25.131~182.118.25.245,；)

182.118.28.*

61.55.185.*

101.199.*.*

220.181.126.*

182.118.26.110~182.118.26.239（時效性UAIP段，主要針對網(wǎng)站內(nèi)容更新的爬?。?

360蜘蛛IP段解析

220.181.126.*,、101.199.*.*據(jù)說為360舉報IP。也就是說,，假如你的網(wǎng)站日志出現(xiàn)這個IP段,，你的網(wǎng)站被舉報了。如果是違法站,，那就自求多福吧,。

搜狗蜘蛛IP段

123.126.113.79-123.126.113.191

220.181.89.190

220.181.89.189

218.30.103.155

61.135.189.75

220.181.94.228

61.135.189.74

220.181.89.157

220.181.89.165

220.181.89.183

220.181.89.194

218.30.103.80

神馬蜘蛛IP段

42.156.136.*-42.156.139.*

42.120.160.*42.120.161.*

其他蜘蛛IP段

163搜索引擎蜘蛛IP地址大全

202.106.186.*

202.108.36.*

202.108.44.*

202.108.45.*

202.108.5.*

202.108.9.*

220.181.12.*

220.181.13.*

220.181.14.*

220.181.15.*

220.181.28.*

220.181.31.*

222.185.245.*

iask搜索引擎蜘蛛IP地址大全

61.135.152.*

msn搜索引擎蜘蛛IP地址大全

65.54.188.*

65.54.225.*

65.54.226.*

65.54.228.*

65.54.229.*

207.46.98.*

207.68.157.*

搜搜蜘蛛IP地址

219.133.40.*

202.96.170.*

202.104.129.*

61.135.157.*

新浪搜索引擎蜘蛛IP地址

219.142.118.*

219.142.78.*

搜狐搜索引擎蜘蛛IP地址

61.135.132.*

220.181.26.*

220.181.19.*

Yahoo搜索引擎蜘蛛IP地址

66.196.90.*

66.196.91.*

68.142.249.*

68.142.250.*

68.142.251.*

72.30.101.*

72.30.102.*

72.30.103.*

72.30.104.*

72.30.107.*

72.30.110.*

72.30.111.*

72.30.128.*

72.30.129.*

72.30.131.*

72.30.133.*

72.30.134.*

72.30.135.*

72.30.216.*

72.30.226.*

72.30.252.*

72.30.97.*

72.30.98.*

72.30.99.*

74.6.74.*

Yahoo中國搜索引擎蜘蛛IP地址

202.165.102.*

202.160.178.*

202.160.179.*

202.160.180.*

202.160.181.*

202.160.183.*

中搜蜘搜索引擎蜘蛛IP地址

202.108.4.*

202.108.4.*

202.108.33.*

202.96.51.*

219.142.53.*

好了，終于通過此文提供的IP,，在屏蔽里排除了百度蜘蛛的IP了,，總結下來就是“對自己真的是太狠了”，看來一些基本的數(shù)據(jù)必須要保留呀,！就像此文一樣,，保存好，隨時都可以用來參考的,！屏蔽IP一定要慎重了,，很容易誤傷的，這兩天QQ瀏覽器總是出現(xiàn)“403”錯誤估計跟IP屏蔽也有關系吧,！我得好好排查一下了,！

【DZ案例分析】

• 之前和大家分享過discuz蜘蛛爬行記錄插件的安裝，在蜘蛛爬行記錄的那個插件里,，并不是所有過來的百度蜘蛛都是百度的,，其他搜索引擎也可以偽裝成百度的IP段，所以現(xiàn)在就和大家來探討百度常見的IP段有哪些,！

• 例如：

• 

• 在張圖片的記錄中117.28.255.37點前面雖然寫的是百度,，其實并不是百度蜘蛛的IP段，以下是常見的百度蜘蛛IP段：

• 根據(jù)不同的IP我們可以分析網(wǎng)站是個怎樣的狀態(tài).下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權,。

• 220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站,。

• 220.181.7.*、123.125.66.* 代表百度蜘蛛IP造訪,，準備抓取你東西,。

• 121.14.89.*這個ip段作為度過新站考察期。

• 203.208.60.*這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后,。

• 210.72.225.*這個ip段不間斷巡邏各站。

• 125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多,，還有使用過站長工具，或SEO綜合檢測造成的,。

• 220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話，基本來說你的網(wǎng)站會天天隔夜快照,，絕對錯不了的,，我保證。

• 220.181.108.92 同上98%抓取首頁,，可能還會抓取其他 (不是指內(nèi)頁)220.181段屬于權重IP段此段爬過的文章或首頁基本24小時放出來,。

• 123.125.71.106 抓取內(nèi)頁收錄的，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。

• 220.181.108.91屬于綜合的,，主要抓取首頁和內(nèi)頁或其他，屬于權重IP 段,，爬過的文章或首頁基本24小時放出來,。

• 220.181.108.75重點抓取更新文章的內(nèi)頁達到90%，8%抓取首頁,，2%其他,。權重IP 段，爬過的文章或首頁基本24小時放出來,。

• 220.181.108.86專用抓取首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新。

• 123.125.71.95 抓取內(nèi)頁收錄的,，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。

• 123.125.71.97 抓取內(nèi)頁收錄的,，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。

• 220.181.108.89專用抓取首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新。

• 220.181.108.94專用抓取首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新,。

• 220.181.108.97專用抓取首頁IP 權重段，一般返回代碼是304 0 0 代表未更新,。

• 220.181.108.80專用抓取首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新。

• 220.181.108.77 專用抓首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新,。

• 123.125.71.117 抓取內(nèi)頁收錄的，權重較低,，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。

• 220.181.108.83專用抓取首頁IP 權重段,，一般返回代碼是304 0 0 代表未更新,。

• 注：以上IP尾數(shù)還有很多，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁收錄的權重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定),。

• 220.181.108.*段IP主要是抓取首頁占80%,，內(nèi)頁占30%，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的,，這點我可以保證