SS采集问题，帮帮忙呀。

liktmart · 发表于 2009-5-31 14:45:54

问题：
我想同时采集多个网站的新闻作为互补，但有时这几个网站的内容都是相同的。
我想问下，怎样设置，如果在几个网站之间碰到相同标题的，只采集一个呢？

如果几个网站所采集内容有80%相似度也自动过滤呢？

Gnagno · 发表于 2009-5-31 14:47:14

采集大站、专业站

lidq.jingwu · 发表于 2009-5-31 14:53:05

ss中的采集过滤只是针对单个采集规则而设置，它并不能将一个过滤规则来限制于几个采集器。

liktmart · 发表于 2009-5-31 14:59:09

意思就是说，最好一个资讯只采集一个站的喽？

我的意思是，编写三个采集规则的话，分别采集三个站点。
三个采集都写入到同一个资讯里面去。

可是有时这三个站点可能会有相似的，我就是问一下碰到这种情况下，如何避免。

liktmart · 发表于 2009-5-31 15:25:15

顶一个，快来人呀

Gnagno · 发表于 2009-5-31 16:51:07

采集就是简单的复制，手工+大脑可以避免，用相似度自动过滤，会多或少采集；

新闻，社会新闻，几乎大站的内容都是一样的，所以，你采集一个大站就可以了，比如：新华网

		自动登录	找回密码
密码			立即注册

[采集] SS采集问题，帮帮忙呀。