centos屏蔽蜘蛛访问和查看网站蜘蛛实时访问记录方法原创文章

使用场景：

新建网站robots时，网站没有限值任何蜘蛛的爬取数量限值，导致网站因为蜘蛛的大量爬取，网络带宽资源占用过高，来判断哪个蜘蛛的访问频率比较大所以今天我们写一个如何查看网站访问日志来观察蜘蛛的实时访问量。

使用步骤：

这里以字节的蜘蛛为例，从2019年就开始认证站长，带宽资源占用非常大，收录没几个，蜘蛛每天上万或者大几千，严重拉慢了网站的速度。文章源自玩技e族-https://www.playezu.com/762966.html

第一步：打开宝塔后台，打开终端，

文章源自玩技e族-https://www.playezu.com/762966.html

第二步：输入下面的命令观察蜘蛛