这种不遵守规则的垃圾爬虫,早就应该屏蔽封禁了的,robots里早设置禁止抓取了,完全无视,12小时就抓取2500次,对我根本没有任何意义,还浪费我的带宽。

这种不遵守规则的垃圾爬虫,早就应该屏蔽封禁了的,robots里早设置禁止抓取了,完全无视,12小时就抓取2500次,对我根本没有任何意义,还浪费我的带宽。

这种不遵守规则的垃圾爬虫,早就应该屏蔽封禁了的,robots里早设置禁止抓取了,完全无视,12小时就抓取2500次,对我根本没有任何意义,还浪费我的带宽。

这种不遵守规则的垃圾爬虫,早就应该屏蔽封禁了的,robots里早设置禁止抓取了,完全无视,12小时就抓取2500次,对我根本没有任何意义,还浪费我的带宽。