网站robots.txt文件这个内容是什么意思？

以上信息的意思是，禁止所有搜索引擎蜘蛛抓取和索引以上目录及文件，disallow: 是定义禁止搜索引擎收录的地址，例如：disallow: /plus/ad_js.php，意思是，禁止蜘蛛抓取收录plus文件夹下的ad_js.php文件里的内容，再例如：disallow: /templets，意思是禁止蜘蛛索引收录templets文件夹下的所有文件内容！ 如果允许所有搜索引擎蜘蛛访问和抓取网站所有内容，可以建立一个空的robots.txt的文件放在根目录，或者把robots