网站根目录放robots.txt文件是什么意思

通过给网站设置适当的robots.txt对Google和百度seo优化的作用是很明显的。WordPress博客网站也一样。 我们先看看robots.txt是什么，有什么作用？ robots.txt是什么？ 我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录