-
怎样判断真假百度蜘蛛
网络 2014/6/24 16:43:13相信很多的朋友都不想让我们的辛辛苦苦做出来的内容被一些的伪装成百度蜘蛛的搜索引擎采集所采集，并且占用我们的服务器的资源。那么今天就教大家识别的真假百度蜘蛛，让你告别的哪些猥琐的搜索引擎采集，关于识别的真假百度蜘蛛的具体操作步骤如下：
一．找到IIS日志的百度蜘蛛
2012-04-08 22:59:55 W3SVC100 116.255.169.208 GET /index.php – 80 – 220.181.108.165 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) 200 0 0 16944 237 3952
二．打开运行（输入cmd）
三.输入命令nslookup ip
在刚刚打开的网站的运行系统中输入nslookup 后边的IP就是IIS日志抓取的百度IP地址(220.181.108.165)之后回车就会显示出改IP地址的搜索引擎制作名称。如： baiduspider-220-181-108-146.crawl.baidu.com
阅读(957) 分享(0)
上一篇: 百度工程师解密百度原创识别“起源”算法细节
下一篇: 什么是大数据？
