Akamai 推出机器人管理器

Akamai今天推出了一款新的机器人管理器工具，以便让企业能更精细地控制自己网站上的机器人流量。

有研究显示，互联网上近一半的流量来自机器人。据Akamai高级企业营销经理雷尼·沈(RennyShen)介绍，机器人指和网站打交道的小程序，作用有好有坏。

值得一提的是，一些机器人表现得无害，而另外一些机器人可能是在抓取你网站上的信息或是分布式拒绝服务攻击(DDoS)的一部分。当然，机器人友好与否取决于网站所有者对其的看法。

雷尼表示道：“大部分人把机器人当作攻击者。在我看来，机器人就是自动和网站交互的软件。”这也是他认为对机器人采取非此即彼的态度不合适的原因。

他说道：“机器人流量很常见。因为每个网站都不同，每个客户的需求都不一样，所以我们让客户来决定该怎么控制机器人流量，而不是直接屏蔽。”

Akamai机器人管理器可以让客户对机器人流量进行精细控制，让他们理解流量的本质，并采取他们觉得合适的操作，比如屏蔽、监控、减速、欺骗或放行。客户会怎么做取决于其公司的目标。

比如，电子商务网站可以让合作伙伴的价格爬虫爬取自己的价格信息，屏蔽竞争对手的爬虫。一些公司甚至会生成有虚假价格的网页来欺骗机器人。

还有一些公司也许根本不想和机器人管理的细枝末节打交道，同时仍然能获得这一工具的好处，Akamai也考虑了这一部分客户。

这款工具可以让客户查看自己网站上所有机器人流量的全局图，并可以获得单个机器人的细节信息如主机名、来源IP地址、活动类型以及对网站性能的影响。

一旦公司了解了这些细节，就可以制定针对某个机器人的最佳策略，并判断这个机器人是好是坏。又或是好坏难辨。他举了搜索引擎百度作为例子。

他表示，百度的机器人并不尊重robots.txt文件，在爬取网站时很激进。这就让一些想要在百度搜索引擎中取得排名的网站犯难了，担心放任不管会影响网站性能。

Akamai的机器人管理器可以让客户管理某个机器人在爬取网站时的行为，而不是简单地屏蔽或放行。比如某个站长在碰到百度的机器人时，可以放行但减缓其爬取网站的速度，以便在百度中取得排名，同时又减少对网站性能的影响。

这款机器人管理器工具将在本月底时正式推出，价格根据该服务处理的流量大小而定。