最近百度蜘蛛爬网站爬取的比较频繁一些目录不想让其访问和爬取,所以想找到robots文件修改下规则:
文件位置:/wp-includes/functions.php 打开文件之后搜索:User-agent: *即可找到文件位置然后按照自己的需求修改即可。
文章源自玩技e族-https://www.playezu.com/35178.html 文章源自玩技e族-https://www.playezu.com/35178.html
最近百度蜘蛛爬网站爬取的比较频繁一些目录不想让其访问和爬取,所以想找到robots文件修改下规则:
文件位置:/wp-includes/functions.php 打开文件之后搜索:User-agent: *即可找到文件位置然后按照自己的需求修改即可。
文章源自玩技e族-https://www.playezu.com/35178.html 文章源自玩技e族-https://www.playezu.com/35178.html
评论