很需要一个重复数据检查

晕死了,开始用的时候,采集了M多信息,但有很多重复的,现在要删真的太麻烦,现在都被百度K了2个月还没恢复,大家要用采集的话,尽量设置重复数据不采集,前车之鉴.百度K我,我也K百度,7-8个网站全遮蔽了百度,百度搜索全换GOOGLE搜索,百度推广全换淘宝推广.垃圾网站遮蔽垃圾搜索引擎.

更不要用什么采集软件,那些都是垃圾,那些软件会记录你的网站,到时候你的网站会成为人家软件注册发信息的目标,那就更多的垃圾了.