采集来的文章，如何不重复？

是这样的，我发现我用不同采集器采来的文章有很多都是一样的，能不能在哪设置一下让他们有相同标题的文章不抓取或采集呢？

第二个问题，现在我里面文章有上千个，我不可能自己手动去一个一个的找，有没有什么办法能把标题重复的文章显示出来呢。

目前没有这样的过滤功能，我提交下发展建议吧~采集信息重复确实是个很头疼的事情~

哎  是的不好搞

手工都会发重复的

如果需要后期把所有文章标题重复的列出来，可以到数据库中直接运行如下SQL语句。supe_spaceitems是表名，subject是标题所在字段

1. 
   
2. select supe_spaceitems1.subject,count(*) from supe_spaceitems as supe_spaceitems1 ,supe_spaceitems as supe_spaceitems2 where supe_spaceitems1.itemid!=supe_spaceitems2.itemid and supe_spaceitems1.subject=supe_spaceitems2.subject group by supe_spaceitems1.subject;
   

复制代码

详细请看http://www.littz.cn/viewnews-349.html

目前没有这样的过滤功能，我提交下发展建议吧~采集信息重复确实是个很头疼的事情~
紫琼 发表于 2009-7-8 11:17

希望早日出来这个问题的补丁~~~~~~~~~~~

如果需要后期把所有文章标题重复的列出来，可以到数据库中直接运行如下SQL语句。supe_spaceitems是表名，subject是标题所在字段
select supe_spaceitems1.subject,count(*) from supe_spaceitems as supe_spaceitem ...
littlehz 发表于 2009-7-8 11:31

不行，你这太复杂了，你是高手可以弄，像我这样的初级人员可不行了。

是啊，确实是个问题，希望提早出来

不行的我早就试过一
应用就会报警

数据库一大  就那他没有办法的


呵呵


反正搜索引擎会过滤的