如何看网站有没有蜘蛛爬 怎么查看某个ip是不是搜索引擎官方的蜘蛛ip


如何看网站有没有蜘蛛爬 怎么查看某个ip是不是搜索引擎官方的蜘蛛ip

文章插图
很多时候在做网站运营维护以及SEO的时候,不知道某个IP地址到底是不是搜索引擎官方的蜘蛛,去网上查吧又不一定能搜得到 , 毕竟网络更新还是很快的 。今天给大家简单分享一下怎么查看某个ip是不是搜索引擎官方的蜘蛛爬虫,方便大家标记到底是恶意爬虫还是需要的搜索引擎蜘蛛以及后续限制操作 。
步骤方法如下:
一、打开电脑的左下角开始菜单——运行——输入cmd然后回车进入到dos窗口;
二、然后在dos窗口中输入 nslookup ip地址 然后回车 , 稍等片刻你会发现如下图所示:
如何看网站有没有蜘蛛爬 怎么查看某个ip是不是搜索引擎官方的蜘蛛ip

文章插图
在反馈信息中名称就可以看出到底是不是官方的蜘蛛,上图显示baiduspider-116-179-32-100.crawl.baidu.com 。正常来说这就是百度官方的搜索引擎蜘蛛,但是这个数据能不能作假,暂时还没学习到 。
接下来我们来看一个不是搜索引擎的是什么样?
如何看网站有没有蜘蛛爬 怎么查看某个ip是不是搜索引擎官方的蜘蛛ip

文章插图
显示localhost 找不到 。很显然,这不是的蜘蛛ip 。
【如何看网站有没有蜘蛛爬 怎么查看某个ip是不是搜索引擎官方的蜘蛛ip】所有有时候网站的访问数据中只看user-agent之类的信息判断不知道是不是搜索引擎蜘蛛的话,可以用这个方法试一下 。

    推荐阅读