为什么百度只看我的robots.txt不接着抓取首页？

日期：2021-05-28 19:31:58 人气：1

sitemap应该是utf-8的xml文件。我下载上述网站的sitemap，结果发现是ansi格式的。

刚才在线生成了一个sitemap.xml，在附件中。

你的robots.txt可以简单一点，如下即可：

User-agent: *

Allow: /

Disallow: /plus

Disallow: /include

Disallow: