请问一下，关于采集，怎样设置不采集重复的文章？

例如今天我采集了100篇某网站的文章，明天这个网站更新了1篇帖子，我再采集的时候好像会又重新把以前那100个老帖子也采集一遍……

有没有什么解决方法？

难道必须勾选“重复标题不采集”的选项？据说这会增加数据库的负担？

还是说先自己去看一下网站更新了多少条，然后每天都修改采集机器人？

一定要勾的，其实没增加什么负担的，楼主大可放心。