User-agent: Baiduspider Disallow: User-agent: * Disallow: / 这个robots.txt是什么意思？

如果你既有通配符*又有特定的（如User-agent: Baiduspider) user--agent部分，记住蜘蛛将只遵循针对它的部分而忽略其它部分（包括通用的） 。 所以上面的robots.txt文件的意思是 允许百度收录，除百度之外的其它搜索引擎被禁止收录。