SS采集，标题重复不应该成为唯一的采集剔除标准

刚从动易+动网转过来，还为正式上传使用，发现在SS的采集过程中只能依靠标题剔除重复信息
新站放在127.0.0.1，原站放在192.168.1.100，新站用SS采集重录原站信息，过程中发现原信息大量被剔除，原因是我在采集时设置了“不允许标题重复”。
看到这里，有的朋友就说了，“那是你原来的信息就有重复啊”。不对，我原来的信息只是标题有重复，内容是绝无重复的。
比如“XX市场09月23日行情快递”，2000-2009年，每年09月23日都是这个标题，这样采集完成之后，就只有2000年那条留了下来，其余8条都被剔除了。
这当然有我以前写标题不够严谨的原因，却也从另一个方面反映出SS采集功能有待完善，采集剔除标准不应该只有标题重复一项。
假设可以选择“允许标题重复”+“不允许链接重复”，这问题就好办多了。
现在正想办法批量修改以前的标题，9年*365天*10多个市场，3万3千以上的信息.......晕！

动易是检查链接是否重复的，至少我以前这个版本是。。。。。。。。。。。。。

回复 1# 信宁军


    这个问题我反馈给开发人员吧，但在采集时也可以设置允许标题重复啊。

回复  信宁军


    这个问题我反馈给开发人员吧，但在采集时也可以设置允许标题重复啊。
lidq.jingwu 发表于 2009-12-23 15:52

    是的，但这种问题应该也会出现在其它人的采集中我说批量改名是为了避免以后的类似情况

没改标题，设置成“允许标题重复”，没有重复标题的页面也采出了重复标题
不过我已经有办法了，采过一次之后，在view模板改了一个地方，让所有标题都带上了日期，然后用另一个SS再采一遍，所有标题在数据库里就都带上了（xxxx-xx-xx）后缀。