robots.txt怎么写？robots.txt怎么设置

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。robots.txt文件的格式 　　User-agent: 定义搜索引擎的类型 　　Disallow: 定义禁止搜索引擎收录的地址 　　Allow: 定义允许搜索引擎收录的地址 　　我们常用的搜索引擎类型有： (User-agent区分大小写) 　　google蜘蛛：Googlebot 　　百度蜘蛛：Baiduspider 　　yahoo蜘蛛：Yahoo!slurp 　　alexa蜘蛛：ia_archiver