如果robots文件把网站所有页面都做禁止抓取，那百度蜘蛛是不是就不会爬我这个网站了，我也就看不到日志了

　　楼主您好： 　　首选回答您的问题，屏蔽掉百度搜索引擎蜘蛛以后，日志上应该还是有记录的，因为百度对于robots处理是有一段时间的，日志应该还是有的因为您屏蔽了百度其他搜索引擎并没屏蔽，就算屏蔽了百度，百度每天还是会访问网站根目录下的robots文件的。 　　robots.txt可以告诉搜索引擎您的网站哪些页面可以被收录，哪些页面不可以被收录，如果您不想让搜索引擎收录您网站的某些内容，请用robots.txt文件指定搜索引擎在您网站上的抓取范.txt文件，及robots.txt文件内容，并能按照您的