User-agent: * Allow: / 和 User-agent: * Disallow: /分别代表什么意思 啊？

User-agent: *Allow是robots文件中的一句语法，代表的意思是：允许所有的搜索引擎可以按照robots文件中的限制语法进行合理的抓取网站中的文件、目录。 User-agent: *Disallow：是允许所有搜索引擎收录的意思。 User-agent: *表示允许所有搜索引擎蜘道蛛来爬行抓取，也可以把*去掉，改为特定某一个或者某些搜索引擎蜘蛛来爬行抓取，如百度是Baiduspider，谷歌是Googlebot。 扩展资料： 例子： 1、允许所有SE（搜索引擎）收录本站：robot