Robot是什么

    Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。
    有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
    SEO中常说的这个探测器（Robot）是什么？
    搜索引擎用来抓取网页的工具。它是一个软件或者说一系列自动程序（显然，不是一部机器）。
    不同的搜索引擎给他们自己的探测器（Robot）起不同的名字。
    谷歌：googlebot  百度：baiduspider   MSN:MSNbot   Yahoo:Slurp  （yahoo家的这位比较特殊，没有带“姓”,并且用的是一个拟声词。Slurp,中文理解是机器人吃东西时发出的啧啧的声音）
    关于Robot,需要关心的主要是Robots.txt,以及网站日志中包含的以上几个名字。