Robots 的指令很简单，只有三个指令，一般我们也会把地图放在上面，方便蜘蛛进站抓完Robots就直接顺着地图爬。
User-agent: 此指令定义了此指令下面的内容对哪些蜘蛛有效。默认所有蜘蛛都允许抓取，如果此指令指定了特定的蜘蛛，那么此指令下跟的内容就对特定蜘蛛有效。
Disallow: 此指令定义了禁止蜘蛛抓取哪些因为，有些人可能认为，做网站当然都希望被抓取了。错，如果是后台或是隐私文件，相信谁都不愿意被抓取的。
Allow: 此指令定义了允许蜘蛛抓些哪些内容，如果是某些内容允许，其它全部拒绝，则可以用这个指令，大多数网站只用到禁止指令。
Sitemap: 顾名思义，就是我们常说的站点地图了。通常我们把站点地图放在Robots下面，可以方便蜘蛛直接在访问Robots时就访问到我们的网站地图。
转载请注明：⎛蜗牛SEO⎞ » Robot有哪些指令？
