网站这个robots.txt要不要删?

这个可以删除的，这是一个协议，搜索引擎蜘蛛访问网站时查看的第一个文件，这个文件将会告诉蜘蛛哪些可以抓取索引，哪些不可以。 百度官方建议，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。 但是《SEO实战密码》一书中建议，就算允许抓取所有内容，也要建一个空的robots.txt文件，放在根目录下，因为有的服务器设置有问题，当robots文件不存在时会返回200状态码及一些错误信息，而不是404状态码