robots.txt里面的文件那个是正确的

日期:2012-06-24 08:33:15 人气:1

robots.txt里面的文件那个是正确的

你主要看看,蜘蛛是否来过你网站抓取页面,方法是下载一个iis日子分析一下。重点看看。访问者(baiduspider) 访问路径(url) 访问状态码(404 301 200等) 你可以看看是否有baiduspider 和200说明百度蜘蛛抓取成功的意思。
    A+
热门评论