最近老是被杭州阿里软件公司服务器群疯狂采集，严重妨碍了我网站的速度。怎么办？

sonnyjou · 发表于 2010-9-30 13:02:15

这段时间网站很慢啊。查看贷款占用很厉害
查看apche日志
非常多的110.75.x.x的IP访问，全是杭州阿里软件公司的IP
这鸟公司到底是干嘛的要采集我们的站？一点也不遵从爬虫的规范，一个劲的疯狂采集啊？
我以前也是做全文检索和爬虫的，这鸟公司真讨厌，而且爬的页面大部分都是无效链接。我的站把403 404的页面都跳转到了首页。等于你们都发现不了采集的内容都一样么？

各位大侠给点意见是直接封iP段，还是关闭403 404跳转？

sonnyjou · 发表于 2010-10-13 12:53:52

1212212213123123

reik22 · 发表于 2010-10-13 19:24:48

封IP段就好了。如果你不想要他的收录。。。
对了，好奇一下，楼主做什么站的啊

sonnyjou · 发表于 2010-10-13 19:45:19

回复 reik22 的帖子

地方门户
http://www.52jj.net

今天又被杭州阿里软件公司疯狂采集了。1/3的请求都是他们的。烦、

reik22 · 发表于 2010-10-16 14:02:35

也没什么特别哒...为什么盯着你呢....

www.xxsea.com · 发表于 2010-11-2 17:24:04

杀蜘蛛
恭喜楼主

智维 · 发表于 2010-11-2 17:27:34

这是好事啊为什么要拒绝呢？

		自动登录	找回密码
密码			立即注册

[求助] 最近老是被杭州阿里软件公司服务器群疯狂采集，严重妨碍了我网站的速度。怎么办？