请大神们帮看看这个网站robots.txt文件里的写法分别代表什么意思。

先来说sitemap，sitemap是网站地图的意思，在你的网站上找找肯定能找到网站地图。地图里放的就是这个文件里包含的链接。这个不是自动生成的。 再来说说robots.txt文件，是一个禁止收录的文件。 第一行的user-agent用来指定下面的规则适用于哪个蜘蛛。*代表所有的蜘蛛。 后面的disallow告诉蜘蛛不要抓取后面的内容。 希望对你有帮助，望采纳。。。