robots.txt文件User-agent: * Disallow:和User-agent: * Allow: /是一个意思吗
robots.txt文件User-agent: * Disallow:和User-agent: * Allow: /是一个意思吗
日期：2013-09-03 17:18:27 人气：1
前者“可以抓取任何页面”
后者没有什么意义，一般Allow是配合Disallow使用的，放在它的前边
robots.txt文件User-agent: * Disallow:和User-agent: * Allow: /是一个意思吗