织梦的robots文件需要禁止抓取哪些文件
织梦的robots文件需要禁止抓取哪些文件
日期:2019-12-31 17:25:05 人气:1
一般后台文件 安装文件 模板,动态链接以及感觉网页质量不怎么利于排名的页面,都给禁止抓取的吧!
Sitemap: http://www.dianmowan.cn/sitemap.xml
User-agent: *
Disallow: /admin*
Disallow: /data/
Disallow: /include/
Disallow: /plus/
Disallow: /templets