我的网站robots.txt写的对吗

日期:2009-10-22 16:22:24 人气:2

我的网站robots.txt写的对吗

完全正确 Disallow: 该项的值用于描写不盼望被访问到的一个URL,这个URL可以是一条完整的路径,也可以是部分的,任何以Disallow开头的URL均不会被robot 访问到。例如”Disallow:/admin”对/admin.html 和/admin/index.html都不容许搜索引擎访问,而”Disallow:/admin/”则容许robot访问/admin.html,而不能访问 /admin/index.
    A+
热门评论