由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述,有那位大神知道怎么解决呀。

日期:2014-07-02 16:14:02 人气:1

由于该网站的robots.txt文件存在限制指令,系统无法提供该页面的内容描述,有那位大神知道怎么解决呀。

用其他搜索引擎试试。 这个 robots.txt 东西是一种“协议”告诉搜索引擎,请不要搜索这个文件里所声明的东西。这不是必须遵守的,但是一般正规服务商都会自动遵守这个协议。 所以,如果你需要搜索的网页显示内容,需要你去找那些“流氓引擎”,他们不遵守这个协议。
    A+
热门评论