网站robots.txt文件中这些内容是什么意思?
网站robots.txt文件中这些内容是什么意思?
日期:2019-11-09 01:30:17 人气:2
我是这样写的
user-agent: *
disallow:
sitemap: http://www.mmp4.net/后面是你的站点地图的文件地址
其中的user-agene:*代表所有蜘蛛
disallow:应许所有蜘蛛抓取
sitemap: 这里放站点地图
网站robots.txt文件中这些内容是什么意思?