discuz文章被其他程序非法采集，如何彻底防止??

discuz建站，近一年了，百度收录却少的可怜。安装了一个插架，可以显示是百度的蜘蛛还是360的来访，但大多的是显示other，这个ip我今天查了一下，显示的是河南郑州联通看得这我气不打一处来，麻痹的不知道搞了什么东西24小时不停地在我网站上爬，导致搜索引擎收录不了。我刚刚把这个ip禁止了，刚看到谷歌的IP也有了来访，之前很少或者没有。
这样损害他人利益或者非法盗取他人成果，请问怎么防止这类事件发生给对方一个小小的教育啊??

大部分不是人为的，要知道它不停的抓取页面对它本身也是带宽消耗。应该是某类安全软件，或者因为站点类型的原因某zf墙，这种问题直接禁止ip就是啦，至于教育，向一天几十万上百万的ip网站，也被爬，对方可能是收集数据，也可能是扫描某些敏感词。

hhb121 发表于 2017-1-23 14:22
大部分不是人为的，要知道它不停的抓取页面对它本身也是带宽消耗。应该是某类安全软件，或者因为站点类型的 ...

如果是处于对网站安全的排查，那IP检测也不是应该显示河南郑州啊？？

就是小偷来采集，没办法的
禁止IP，对论坛设置游客限制什么的