大家進行網(wǎng)站日志分析的時候,，常見到很多不同IP段的百度蜘蛛,，為了方便大家更好的進行日志分析,，下面列舉了百度不同IP段常見蜘蛛的一些詳情情況,，及所謂的降權(quán)蜘蛛，沙盒蜘蛛,，高權(quán)重蜘蛛等等,。
眾所周知，百度蜘蛛爬蟲對于網(wǎng)站SEO有很好的索引和幫助,，能夠快速在百度首頁通過關(guān)鍵詞搜索直達您的網(wǎng)站,。
百度蜘蛛(Baiduspider)爬取
是搜索引擎獲得頁面內(nèi)容的一個重要的途徑，通過蜘蛛的抓取可以得到一個頁面的最主要的內(nèi)容從而收錄百度數(shù)據(jù)庫系統(tǒng),，每次抓取之后都會再與數(shù)據(jù)庫原有的信息進行比對,，來確定頁面的總體質(zhì)量,。
那么,，每當(dāng)蜘蛛來抓取的時候都會被網(wǎng)站日志文件記錄下來,，具體包括抓取時間，抓取的頁面以及蜘蛛來路IP地址,，上次說到百度蜘蛛(Baiduspider)ip來路基本能夠反映出不同蜘蛛對站點不同頁面的喜好程度,，從側(cè)面也反映出整個網(wǎng)站不同頁面的權(quán)重值，通過自己一系列的分析,，可以較為準確的評估整站的權(quán)重分布,，對于seo、文章內(nèi)容價值,、用戶體驗都起到很好的參考價值,。
經(jīng)常聽到站長們問，百度蜘蛛是什么,？最近百度蜘蛛來的太頻繁服務(wù)器抓爆了,，最近百度蜘蛛都不來了怎么辦，還有很多站點想得到百度蜘蛛的IP段,，想把IP加入白名單,，但IP不固定，我們無法對外公布,。
那怎么才能識別正確的百度蜘蛛呢,？來來來，只需兩步,，教你正確識別百度蜘蛛
1,、查看UA，如果UA都不對,，可以直接判斷非百度搜索的蜘蛛,，目前對外公布過的UA是：
移動UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)
PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）
新增渲染UA:
移動UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)
2、反查IP
站長可以通過DNS反查IP的方式判斷某只spider是否來自百度搜索引擎,。根據(jù)平臺不同驗證方法不同,，如linux/windows/os三種平臺下的驗證方法分別如下：
1）在linux平臺下，您可以使用host ip命令反解ip來判斷是否來自Baiduspider的抓取,。Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充。
2)在windows平臺或者IBM OS/2平臺下,，您可以使用nslookup ip命令反解ip來 判斷是否來自Baiduspider的抓取,。打開命令處理器 輸入nslookup xxx.xxx.xxx.xxx（IP地 址）就能解析ip， 來判斷是否來自Baiduspider的抓取,，Baiduspider的hostname以*.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
3） 在mac os平臺下，您可以使用dig 命令反解ip來 判斷是否來自Baiduspider的抓取,。打開命令處理器 輸入dig xxx.xxx.xxx.xxx（IP地 址）就能解析ip,， 來判斷是否來自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com 或*.baidu.jp 的格式命名,，非 *.baidu.com 或 *.baidu.jp 即為冒充,。
例如：通過下面這段日志找到baiduspider，不難發(fā)現(xiàn)這個IP是假蜘蛛!
日志展示：
112.34.110.136 - - [29/Nov/2021:10:35:22 +0800] "GET /robots.txt HTTP/1.1" 301 162 "-" "-" 112.34.110.141 - - [29/Nov/2021:10:35:27 +0800] "GET /robots.txt HTTP/1.1" 301 162 "-" "-" 27.159.66.51 - - [29/Nov/2021:10:43:45 +0800] "GET / HTTP/1.1" 301 162 "-" "Go-http-client/1.1" 209.17.96.58 - - [29/Nov/2021:10:47:15 +0800] "GET / HTTP/1.0" 301 162 "-" "Mozilla/5.0 (compatible; Nimbostratus-Bot/v1.3.2; https://m1.fit)" 27.159.66.45 - - [29/Nov/2021:11:05:35 +0800] "GET / HTTP/1.1" 301 162 "-" "Go-http-client/1.1" 117.25.139.73 - - [29/Nov/2021:11:16:40 +0800] "GET / HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 101.198.192.11 - - [29/Nov/2021:11:16:43 +0800] "GET /favicon.ico HTTP/1.1" 301 162 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" 101.198.192.11 - - [29/Nov/2021:11:16:44 +0800] "GET / HTTP/1.1" 301 162 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" 113.200.239.202 - - [29/Nov/2021:11:18:52 +0800] "GET /favicon.ico HTTP/1.1" 301 162 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36" 117.25.139.73 - - [29/Nov/2021:11:20:32 +0800] "GET / HTTP/1.1" 301 162 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" 36.150.60.24 - - [29/Nov/2021:11:27:13 +0800] "GET / HTTP/1.1" 301 162 "-" "Dalvik/2.1.0 (Linux; U; Android 9.0; ZTE BA520 Build/MRA58K)"
下面的百度蜘蛛IP造訪,，準備抓取你東西,，抓取網(wǎng)頁的百度蜘蛛。 60.172.229.61 61.129.45.72 61.135.162.*
百度競價蜘蛛 61.135.165.134 117.34.74.66 118.122.188.194 119.63.196.9 125.39.78.185
（百度聯(lián)盟爬蟲）,，說白了就是百度統(tǒng)計,。 61.135.186.*
站長工具模仿的百度蜘蛛。 61.147.98.146 61.188.39.16 113.98.254.245 117.21.220.245 117.28.255.42
114站長工具箱（這個是你的網(wǎng)站不穩(wěn)定時常來的） 119.147.114.213 121.10.141.*
百度圖片爬蟲 123.15.**.**
這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán),。 123.125.68.*
抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章暫時被收錄但不放出來(意思也就是說待定),，因不是原創(chuàng)或采集文章。（百度網(wǎng)頁爬蟲（百度圖片爬蟲） 123.125.71.*
搜外站長工具蜘蛛,。 124.248.34.52
也屬于百度蜘蛛IP 主要造成成分,，是新上線站較多，還有使用過站長工具,，或SEO綜合檢測造成的,，沒有多大用。 125.90.88.*
百度蜘蛛 159.226.50.* 180.76.5.* 180.76.5.87 220.181.158.107
偽裝百度蜘蛛IP 180.149.130.*
這個ip段出現(xiàn)在新站及站點有不正?，F(xiàn)象后,。 183.91.40.144 203.208.60.*
這個ip段不間斷巡邏各站，就是路過一下,。 210.72.225.*
每天這個IP 段只增不減很有可能進沙盒或K站 218.30.118.102 220.181.68.* 123.125.68.* 220.181.68.*
主要是抓取首頁占80%,，內(nèi)頁占30%，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的!一般成功抓取返回代碼都是 200 0 0返回304 0 0代表網(wǎng)站沒更新,，蜘蛛來過，如果是 200 0 64別擔(dān)心這不是K站,，可能是網(wǎng)站是動態(tài)的,，所以返回就是這個代碼。 220.181.108.*
代表百度蜘蛛IP來訪準備抓取你東西 220.181.7.* 123.125.66.*
這個ip段作為度過新站考察期 121.14.89.*
這個ip段出現(xiàn)在新站或站點有不正?，F(xiàn)象后 203.208..60.*
這個ip段不間斷巡邏各站 210.72.225.*
這個是百度抓取首頁的專用IP如是220.181.108段的ip來的話基本來說網(wǎng)站會天天隔夜快照,，絕對錯不了的 220.181.108.95
98%抓取首頁可能還會抓取其他「不是指內(nèi)頁）屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來. 220.181.108.92
抓取內(nèi)頁收錄的 權(quán)重較低 爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng)或采集文章 123.125.71.106
屬于綜合的,。主要抓取首頁和內(nèi)頁或者其它頁面。屬于權(quán)重IP段, 抓過的文章或首頁基本24小時放出來 220.181.108.91
重點抓取更新文章的內(nèi)頁達到90%,8%的抓取首頁,2%其他權(quán)重ip段,抓過的文章或首頁基本24小時放出來 220.181.108.75
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新 220.181.108.86
抓取內(nèi)頁收錄的,，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng) 123.125.71.95 123.125.71.97
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新 220.181.108.89 220.181.108.94 220.181.108.97 220.181.108.80 220.181.108.77
抓取內(nèi)頁收錄的， 權(quán)重較低,爬過此段的內(nèi)頁文章不會很快放出來,因不是原創(chuàng) 123.181.108.77
專用抓取首頁ip 權(quán)重段,一般返回代碼304 0 0代表未更新
220.181.108.83
附錄百度蜘蛛IP地址
123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán),。 220.181.68.*每天這個IP段只增不減很有可能進沙盒或K站,。 220.181.7.*,、123.125.66.*代表百度蜘蛛IP造訪，準備抓取你東西,。 121.14.89.*這個ip段作為度過新站考察期,。 203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后,。 210.72.225.*這個ip段不間斷巡邏各站,。 125.90.88.*廣東茂名市電信也屬于百度蜘蛛IP主要造成成分，是新上線站較多,，還有使用過站長工具,，或SEO綜合檢測造成的。 220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話,，基本來說你的網(wǎng)站會天天隔夜快照。（悲劇的我竟然屏蔽了這個IP） 220.181.108.92同上98%抓取首頁,，可能還會抓取其他(不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來,。（嗯，還有這個也屏蔽了,，暈死了?。?123.125.71.106抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。（這個也有,，汗?。?220.181.108.91屬于綜合的，主要抓取首頁和內(nèi)頁或其他,，屬于權(quán)重IP段,，爬過的文章或首頁基本24小時放出來。 220.181.108.75重點抓取更新文章的內(nèi)頁達到90%,，8%抓取首頁,，2%其他,。權(quán)重IP段，爬過的文章或首頁基本24小時放出來,。（這個,，……！） 220.181.108.86專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新,。（還有這個……） 123.125.71.95抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章。 123.125.71.97抓取內(nèi)頁收錄的,，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。 220.181.108.89專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新。（好吧,，220開頭的好像都被我屏蔽了,，下手真心有點兒太狠了！） 220.181.108.94專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新,。 220.181.108.97專用抓取首頁IP權(quán)重段，一般返回代碼是30400代表未更新,。 220.181.108.80專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新。 220.181.108.77專用抓首頁IP權(quán)重段,，一般返回代碼是30400代表未更新,。 123.125.71.117抓取內(nèi)頁收錄的，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或是采集文章。
注：以上IP尾數(shù)還有很多,，但段位一樣的123.125.71.*段IP代表抓取內(nèi)頁收錄的權(quán)重比較低,，可能由于你采集文章或拼文章暫時被收錄但不放出來.。
220.181.108.83專用抓取首頁IP權(quán)重段,，一般返回代碼是30400代表未更新,。 220.181.108.*段IP主要是抓取首頁占80%，內(nèi)頁占30%,，這此爬過的文章或首頁,，絕對24小時內(nèi)放出來和隔夜快照的! 一般成功抓取返回代碼都200,，返回304代表網(wǎng)站沒更新。
Google蜘蛛IP地址 216.239.33.*
216.239.35.*
216.239.37.*
216.239.39.*
216.239.51.*
216.239.53.*
216.239.55.*
216.239.57.*
216.239.59.*
64.233.161.*
64.233.189.*
66.102.11.*
66.102.7.*
66.102.9.*
66.249.64.*
66.249.65.*
66.249.66.*
66.249.71.*
66.249.72.*
72.14.207.*
谷歌蜘蛛IP段解析 202.101.43.*,、222.73.247.*,、66.249.65.*這三個ip段是最為常規(guī)出現(xiàn)的
66.249.16.*出現(xiàn)的站點均為新站或站點出現(xiàn)無法訪問情況后再次出現(xiàn)的ip段
210.72.225.*這個ip段不間斷巡邏各站
203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后
360蜘蛛IP段 101.226.166.*(101.226.166.195~101.226.166.254,，共60個)
101.226.167.*(101.226.167.195~101.226.167.254,，共60個)
101.226.168.*(101.226.168.195~101.226.168.254，共60個)
101.226.169.*(101.226.169.195~101.226.169.230,，共36個)
180.153.236.*(180.153.236.11~26,；180.153.236.35~180.153.236.74；180.153.236.101~180.153.236.196,，共152個)
182.118.20.*(182.118.20.201~182.118.20.254,，共39個)
182.118.21.*(182.118.21.201~182.118.21.*254，共54個)
182.118.22.*(182.118.22.141~182.118.22.149,；182.118.22.211~182.118.22.250，共64個)
182.118.25.*(182.118.25.131~182.118.25.245,；)
182.118.28.*
61.55.185.*
101.199.*.*
220.181.126.*
182.118.26.110~182.118.26.239（時效性UAIP段,，主要針對網(wǎng)站內(nèi)容更新的爬取）
360蜘蛛IP段解析 220.181.126.*,、101.199.*.*據(jù)說為360舉報IP,。也就是說，假如你的網(wǎng)站日志出現(xiàn)這個IP段,，你的網(wǎng)站被舉報了,。如果是違法站，那就自求多福吧,。
搜狗蜘蛛IP段 123.126.113.79-123.126.113.191
220.181.89.190
220.181.89.189
218.30.103.155
61.135.189.75
220.181.94.228
61.135.189.74
220.181.89.157
220.181.89.165
220.181.89.183
220.181.89.194
218.30.103.80
神馬蜘蛛IP段 42.156.136.*-42.156.139.*
42.120.160.*42.120.161.*
其他蜘蛛IP段 163搜索引擎蜘蛛IP地址大全 202.106.186.*
202.108.36.*
202.108.44.*
202.108.45.*
202.108.5.*
202.108.9.*
220.181.12.*
220.181.13.*
220.181.14.*
220.181.15.*
220.181.28.*
220.181.31.*
222.185.245.*
iask搜索引擎蜘蛛IP地址大全 61.135.152.*
msn搜索引擎蜘蛛IP地址大全 65.54.188.*
65.54.225.*
65.54.226.*
65.54.228.*
65.54.229.*
207.46.98.*
207.68.157.*
搜搜蜘蛛IP地址 219.133.40.*
202.96.170.*
202.104.129.*
61.135.157.*
新浪搜索引擎蜘蛛IP地址 219.142.118.*
219.142.78.*
搜狐搜索引擎蜘蛛IP地址 61.135.132.*
220.181.26.*
220.181.19.*
Yahoo搜索引擎蜘蛛IP地址 66.196.90.*
66.196.91.*
68.142.249.*
68.142.250.*
68.142.251.*
72.30.101.*
72.30.102.*
72.30.103.*
72.30.104.*
72.30.107.*
72.30.110.*
72.30.111.*
72.30.128.*
72.30.129.*
72.30.131.*
72.30.133.*
72.30.134.*
72.30.135.*
72.30.216.*
72.30.226.*
72.30.252.*
72.30.97.*
72.30.98.*
72.30.99.*
74.6.74.*
Yahoo中國搜索引擎蜘蛛IP地址 202.165.102.*
202.160.178.*
202.160.179.*
202.160.180.*
202.160.181.*
202.160.183.*
中搜搜索引擎蜘蛛IP地址 202.108.4.*
202.108.4.*
202.108.33.*
202.96.51.*
219.142.53.*
好了,，終于通過此文提供的IP，在屏蔽里排除了百度蜘蛛的IP了,，總結(jié)下來就是“對自己真的是太狠了”,，看來一些基本的數(shù)據(jù)必須要保留呀！就像此文一樣,，保存好,，隨時都可以用來參考的！屏蔽IP一定要慎重了,，很容易誤傷的,，這兩天QQ瀏覽器總是出現(xiàn)“403”錯誤估計跟IP屏蔽也有關(guān)系吧！我得好好排查一下了,！
【DZ案例分析】 之前和大家分享過discuz蜘蛛爬行記錄插件的安裝,，在蜘蛛爬行記錄的那個插件里,，并不是所有過來的百度蜘蛛都是百度的，其他搜索引擎也可以偽裝成百度的IP段,，所以現(xiàn)在就和大家來探討百度常見的IP段有哪些,！
例如：
在張圖片的記錄中117.28.255.37點前面雖然寫的是百度，其實并不是百度蜘蛛的IP段,，以下是常見的百度蜘蛛IP段：
根據(jù)不同的IP我們可以分析網(wǎng)站是個怎樣的狀態(tài).下面 就按照IIS日記上的百度蜘蛛IP為例:123.125.68.*這個蜘蛛經(jīng)常來,別的來的少,表示網(wǎng)站可能要進入沙盒了,，或被者降權(quán)。
220.181.68.*每天這個IP 段只增不減很有可能進沙盒或K站,。
220.181.7.*,、123.125.66.* 代表百度蜘蛛IP造訪，準備抓取你東西,。
121.14.89.*這個ip段作為度過新站考察期,。
203.208.60.*這個ip段出現(xiàn)在新站及站點有不正常現(xiàn)象后,。
210.72.225.*這個ip段不間斷巡邏各站,。
125.90.88.* 廣東茂名市電信也屬于百度蜘蛛IP 主要造成成分，是新上線站較多,，還有使用過站長工具,，或SEO綜合檢測造成的。
220.181.108.95這個是百度抓取首頁的專用IP,，如是220.181.108段的話,，基本來說你的網(wǎng)站會天天隔夜快照，絕對錯不了的,，我保證,。
220.181.108.92 同上98%抓取首頁，可能還會抓取其他 (不是指內(nèi)頁)220.181段屬于權(quán)重IP段此段爬過的文章或首頁基本24小時放出來,。
123.125.71.106 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
220.181.108.91屬于綜合的，主要抓取首頁和內(nèi)頁或其他,，屬于權(quán)重IP 段,，爬過的文章或首頁基本24小時放出來。
220.181.108.75重點抓取更新文章的內(nèi)頁達到90%,，8%抓取首頁,，2%其他。權(quán)重IP 段，爬過的文章或首頁基本24小時放出來,。
220.181.108.86專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
123.125.71.95 抓取內(nèi)頁收錄的,，權(quán)重較低,，爬過此段的內(nèi)頁文章不會很快放出來，因不是原創(chuàng)或采集文章,。
123.125.71.97 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
220.181.108.89專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.94專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
220.181.108.97專用抓取首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新,。
220.181.108.80專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
220.181.108.77 專用抓首頁IP 權(quán)重段,，一般返回代碼是304 0 0 代表未更新。
123.125.71.117 抓取內(nèi)頁收錄的,，權(quán)重較低，爬過此段的內(nèi)頁文章不會很快放出來,，因不是原創(chuàng)或采集文章,。
220.181.108.83專用抓取首頁IP 權(quán)重段，一般返回代碼是304 0 0 代表未更新,。
注：以上IP尾數(shù)還有很多,，但段位一樣的123.125.71.*段IP 代表抓取內(nèi)頁收錄的權(quán)重比較低.可能由于你采集文章或拼文章暫時被收錄但不放出來.(意思也就是說待定)。
220.181.108.*段IP主要是抓取首頁占80%,，內(nèi)頁占30%,，這此爬過的文章或首頁，絕對24小時內(nèi)放出來和隔夜快照的,，這點我可以保證,！
【聲明】原創(chuàng)內(nèi)容轉(zhuǎn)載須注明出處M1.FIT，請勿擅自修改內(nèi)容,！
