一个网站必须要设置了robots文件吗？

robots.txt的使用方法和详细解释 robots.txt对于大多数有网站优化经验的朋友来说并不算太陌生，用过的朋友肯定会有感受，设置好robots.txt对网站优化来说利远远大于弊。今天彭宇诚就与大家分享一下robots.txt的使用方法，希望对大家有所帮助。 我们先来认识一下什么是robots.txt？ 我理解的是robots.txt是通过代码控制搜索引擎蜘蛛索引的一个手段，以便减轻网站服务器的带宽使用率，从而让网站的空间更稳定，同时也可以提高网站其他页面的索引效率，提高网站收录。 下面我们再来熟悉一下怎样使用robots.txt？ 首先，我们需要创建一个robots.txt文本文件，然后在文档内设置好代码，告诉搜索引擎我网站的哪些文件你不能访问。然后上传到网站根目录下面，因为当搜索引擎蜘蛛在索引一个网站时，会先爬行查看网站根目录下是否有robots.txt文件。 robots.txt文件内的代码书写规范我们也要注意，其中User-agent:*是必须存在的，表示对所有搜索引擎蜘蛛有效。Disallow:是说明不允许索引哪些文件夹

个人认为网站是否设置robots文件，完全根据网站的特点来，如果是企业网站，里面的信息没有什么特别重要的东西，可以不设置，如果是论坛等网站，涉及到很多的用户的信息，设置禁止抓取是很必要的，如果不会设置的话，我们可以帮你，你搜一下红城基础优化，他们的演示网站都设置了robots文件。