七牛云robots的正确写法

配置了七牛静态存储,我们通常要修改一下robots.txt,目的是禁止蜘蛛抓取我们二级域名如img.zeze.info,而不让百度等搜索引擎收录我们的img.zeze.info的页面和文章,从而降低主域名zeze.com的权重。但是,我们又希望蜘蛛能抓取到我们的图片,如

http://img.zeze.info/img/qiniu/qiniu.png!www.zeze.info

本文中的robots.txt都是七牛绑定域名(七牛空间存储)根目录里的,不是你网站根目录啊

七牛刷新预取(清除缓存的意思)并填写刷新文件

博主当初修改这个文件的时候,尴尬死了,删除了,重新上传,试了无数遍,都没改成功。后来才知道是缓存的原因,点击刷新预取

七牛云plus

修改robots.txt

方法很简单,删除之前的robots.txt,重新上传新的robots.txt

User-agent: Baiduspider
Allow: /img/*
Disallow: /
User-agent: 360Spider
Allow: /img/*
Disallow: /
User-agent: Baiduspider-image
Allow: /img/*
Disallow: /
User-agent: 360Spider-Image
Allow: /img/*
Disallow: /
User-agent: *
Disallow: /

上面的代码,很明显,这里就不废话了。

# robots.txt generated at http://portal.qiniu.com
User-agent: Baiduspider
Allow: /img*
Disallow: /
User-agent: Sosospider
Allow: /img*
Disallow: /
User-agent: sogou spider
Allow: /img*
Disallow: /
User-agent: YodaoBot
Allow: /img*
Disallow: /
User-agent: Googlebot
Allow: /img*
Disallow: /
User-agent: Bingbot
Allow: /img*
Disallow: /
User-agent: Slurp
Allow: /img*
Disallow: /
User-agent: MSNBot
Allow: /img*
Disallow: /
User-agent: googlebot-image
Allow: /img*
Disallow: /
User-agent: googlebot-mobile
Allow: /img*
Disallow: /
User-agent: yahoo-blogs/v3.9
Allow: /img*
Disallow: /
User-agent: psbot
Allow: /img*
Disallow: /
User-agent: *
Allow: /img*
Disallow: /

百度站长平台检测

先进入百度站长平台
, 没有添加链接的,先添加(博主添加了www.zeze.info)

站长

进去之后,点击检测并更新,多点几次,直到出现下面界面