运维笔记

原创文章centos屏蔽蜘蛛访问和查看网站蜘蛛实时访问记录方法

使用场景: 新建网站robots时,网站没有限值任何蜘蛛的爬取数量限值,导致网站因为蜘蛛的大量爬取,网络带宽资源占用过高,来判断哪个蜘蛛的访问频率比较大所以今天我们写一个如何查看网站访问日志来观察蜘蛛的实时访问量。 使用步骤: 这里以字节的...
阅读全文