不设置robots.txt网站后台会被抓取吗

robots文件是搜索引擎蜘蛛爬行网站第一个爬行的文件。robots文件规定搜索引擎可以抓取哪些网页不可以抓取和读取哪些文件。 你的网站没有robots文件是会被抓取的，搜索引擎蜘蛛会全部抓取，如果你的网站后台地址在网页上，搜索引擎也会抓取和收录，这样对网站安全性不太好。