在網(wǎng)站日志里經(jīng)常可以看到一些偽百度蜘蛛IP,,比如:出現(xiàn)了 *.baidu.abc.com ,,這個(gè)乍一看像極了,,但是仔細(xì)一看,,就看出來了,,這個(gè)域名其實(shí)是abc.com。Baiduspider ip的hostname以 *.baidu.com的格式命名,,非 *.baidu.com即為冒充,,建議使用DNS反查方式來確定抓取來源的ip是否屬于百度。
$ host 123.125.66.120
120.66.125.123.in-addr.arpa domain name pointer
baiduspider-123-125-66-120.crawl.baidu.com.
點(diǎn)擊“開始”-“運(yùn)行”-“cmd”-“輸入nslookup IP地址”-“回車”
C:\documents and Settings\Administrator>nslookup 123.125.66.120
查詢結(jié)果如下:
Name: baiduspider-123-125-66-120.crawl.baidu.com
Address: 123.125.66.120
提示:
1、Baiduspider絕對(duì)不會(huì)以匿名的方式抓取網(wǎng)頁(yè),。
2,、Baiduspider的hostname以 *.baidu.com 或 *.baidu.jp 的格式命名,非*.baidu.com或*.baidu.jp即是冒充,。
3,、Nslookup(name server lookup)( 域名查詢):是一個(gè)用于查詢internet域名信息或診斷DNS服務(wù)器問題的工具。

上圖名稱為:220.181.108.105這樣的以名稱中帶有baiduspide,和crawl.baidu.com是屬于百度自己服務(wù)器的蜘蛛,,除此之外,,都屬于假蜘蛛。
發(fā)現(xiàn)假百度蜘蛛就要及時(shí)的在服務(wù)器上屏蔽這個(gè)IP,,以防止服務(wù)器資源被耗盡,。