网站robots.txt设置好即可
怎么写Robots.txt文件?
遵循语法的Robots.txt才可能被机器人识别,至于语法,介绍起来很繁琐,现简单举例如下:
1)禁止所有搜索引擎访问网站的任何部分(也就是网站彻底的拒绝所有搜索引擎收录)
User-agent: *
Disallow: /
2)允许所有的robot访问(也就是网站允许所有搜索引擎收录)
User-agent: *
Disallow:
3)禁止某个搜索引擎的访问(比如禁止百度收录,按如下的方式写)
User-agent: baiduspider
Disallow: /
4)允许某个搜索引擎的访问(比如允许百度收录,按如下的方式写)
User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /
5)禁止搜索引擎访问某些目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /images/
使用方法:很简单,将代码存为一个文本文件,命名为Robots.txt ,放在网页根目录即可。
禁止被搜索引擎收录内容,可以使用robots文件进行屏蔽。
格式:
User-agent:*
Disallow:网址
网站排名优化小课堂