网络营销课程-怎么识别搜索引擎机器人

长话短说直奔主题，这节网络营销课程教大家怎么去识别搜索引擎机器人。

我们每天做网站优化的目的是让搜索引擎的抓取工具抓取自己的网页。做好这份工作，首先要从根本上了解搜索引擎的抓取工具。

各大搜索引擎每天都会派出机器人到网站上进行页面内容的抓取工作，但鉴于机器人的到访会在一定程度上影响网站的性能，所以并不是所有的机器人都是无害的。有时候一些非法机器人会伪装成主流搜索引擎在各大网站页面上爬行，且有时候还不遵循robots.txt规范。

这种情况一旦发生会严重影响到网站的性能。所以一个合格的网站管理人员是要能准确且及时识别到访的机器人身份的。

这个可以在服务器日志的文件中找到猫腻。如果机器人来访你的网站，则user-agent会显示Googlebot或MCNBot等搜索引擎漫游器的名称。仅仅根据这个还不能识别此来访机器人的来访是否会对自己的网站优化性能起到影响。因为只要你愿意，你也可以把你的机器人名字命名为Googlebot，浑水摸鱼进入你的网站发掘你网页的内容。

一般现在主流搜索引擎采取的方式是，通过DNS反向查询找出搜索引擎机器人IP地址对应的主机名称；用主机名查找IP地址以确认该主机名与IP地址匹配。利用这种方式来识别来访自己网站的机器人是否是友好的。

具体操作起来也很简单，网络营销课程的小编简单给大家介绍下：
　　在使用DNS反向查询找出机器人IP地址对应的主机名称后，然后对照即可。这里给大家列举下谷歌和雅虎的：

谷歌的主机名称应包含于googlebot.com 域名中如：crawl-66-249-66-1.googlebot.com；

雅虎的主机名称应包含于inktomisearch.com域名中如：ab1164.inktomisearch.com。

到这一步后，做一次DNS查询，用主机名查找IP地址，以确认该主机名与IP地址匹配。由此证明该机器人是合法的。在网站的优化过程中，如果你怀疑有非法机器人伪装成主流搜索引擎在在你的网站漫游，你可以通过服务器上的设置来阻止这个非法机器人。

经验是靠一点一滴积累的，愿这节网络营销课程能帮到您，也愿您在优化的道路上越走越远。如果遇到问题，尽可以来电咨询027-88772592。