robots.txt如何屏蔽网站指定的页面?

日期:2022-01-05 13:06:12 人气:1

robots.txt如何屏蔽网站指定的页面?

你把你不要蜘蛛爬的路径屏蔽就可以,我把我的发给你看看
User-agent: *
Disallow: /plus/ad_js.php
Disallow: /plus/advancedsearch.php
Disallow: /plus/car.php
Disallow: /plus/carbuyaction.php
Disallow: /plus/shops_bu
    A+
热门评论