首页>> SEO基础>>Robot有哪些指令?

Robot有哪些指令?

SEO基础 15℃

Robots 的指令很简单,只有三个指令,一般我们也会把地图放在上面,方便蜘蛛进站抓完Robots就直接顺着地图爬。

User-agent: 此指令定义了此指令下面的内容对哪些蜘蛛有效。默认所有蜘蛛都允许抓取,如果此指令指定了特定的蜘蛛,那么此指令下跟的内容就对特定蜘蛛有效。

Disallow: 此指令定义了禁止蜘蛛抓取哪些因为,有些人可能认为,做网站当然都希望被抓取了。错,如果是后台或是隐私文件,相信谁都不愿意被抓取的。

Allow: 此指令定义了允许蜘蛛抓些哪些内容,如果是某些内容允许,其它全部拒绝,则可以用这个指令,大多数网站只用到禁止指令。

Sitemap: 顾名思义,就是我们常说的站点地图了。通常我们把站点地图放在Robots下面,可以方便蜘蛛直接在访问Robots时就访问到我们的网站地图。

转载请注明:⎛蜗牛SEO⎞ » Robot有哪些指令?

本网站的SEO数据就是我们最直观的案例和最有力的实力体现形式(点此查看

业务范围:百度快排,百度快速排名,整站优化,网站建设,IDC代理,app开发,全网营销 微信:XueZhaQiHao    QQ:815666763

办公地址:中国 . 湖北 . 武汉(先排名后付费无异地风险)    Copyright © 2008-2021 百度快速排名版权所有
QQ在线咨询
百度快排移动端右侧添加二维码浮动图标