User-agent: * Disallow: /admin/ Disallow: /cache/ Disallow: /config/ Disallow: /include/什么意思

robots.txt的主要作用,是指定该网站中不想被搜索引擎访问的部分,比如说有些配置信息,网站重要文件.这样,网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜索引擎只收录指定的内容.所以关键的是要确实哪些信息是允许搜索引擎来建立索引的,哪些是不允许的.确定好后,不允许的往Disallow:　后面加.