我们一起来研究采集规则中的分页采集问题（包含上下页和页码采集）

zzstom · 发表于 2008-4-9 11:45:32

我昨天晚上花了一晚上的时间在本论坛搜索采集规则的帖子，发现了几个问题目前没有很好的解决： .
1，要采集的网站，页码导航时采用相对地址的时候，无法进行分页采集
2，上下页导航的网页，即使采用的是绝对地址，采集过程中也会出现很多问题，我不知道是没有人肯帮助还是根本无法帮助，反正论坛的帖子目前没有获得好的解决办法。我自己研究了好久也没有找到解决办法
3，分页导航的也是一样啊

我做了一个采集，分页区代码是这样的：
上一页</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D.html" target="_self">1</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_2.html" target="_self" class="s2">2</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_3.html" target="_self">3</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_4.html" target="_self">4</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_5.html" target="_self">5</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_6.html" target="_self">6</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_3.html" target="_self" class="s1">下一页</a>
<div class="clear"></div>

我是这样写的：
<a href="

zzstom · 发表于 2008-4-9 12:31:14

顶上去:)

zzstom · 发表于 2008-4-9 14:23:39

唉……没人帮忙

v215com · 发表于 2008-4-9 14:46:56

楼主你搞笑吗？

你仔细看第二页的链接代码没

<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_2.html" target="_self" class="s2">2</a>

可是有一个class="s2"

你的规则根本不可能匹配到它，

如果能采到真是神了！

P.S：当时没注意看你的代码是第二页的，
才说出上面的话，请谅解！！

[ 本帖最后由 v215com 于 2008-4-9 23:47 编辑 ]

zzstom · 发表于 2008-4-9 18:20:57

是很搞笑，还很笨呢，但是我就是写不出来，不知道为什么楼上的强人就不能帮忙写一下呢？？

zzstom · 发表于 2008-4-9 22:31:24

没人帮帮我吗？

v215com · 发表于 2008-4-9 23:46:41

给你说一个比较实用的：

分页区一定要把第一页排除，不然你的规则会把第一页再采集一次的！！

切记这个！

下面这个应该是第二页的分页区吧

<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D.html" target="_self">1</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_2.html" target="_self" class="s2">2</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_3.html" target="_self">3</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_4.html" target="_self">4</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_5.html" target="_self">5</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_6.html" target="_self">6</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_3.html" target="_self" class="s1">下一页</a>
<div class="clear"></div>

假定第一页的分页区是下面这样

<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D.html" target="_self" class="s2">1</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_2.html" target="_self">2</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_3.html" target="_self">3</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_4.html" target="_self">4</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_5.html" target="_self">5</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_6.html" target="_self">6</a>
<a href="http://tech.163.com/mobile/08/0407/13/48UA8I6D00112K8D_2.html" target="_self" class="s1">下一页</a>
<div class="clear"></div>

分页区域你应该这样写：

class="s2">1</a>[分页区代码]下一页</a>

链接这样匹配

<a href="" target="_self">*</a>

正好也把最后面的下一页的链接也排除！

zzstom · 发表于 2008-4-24 02:57:02

哇，好久没来，楼上的已经回复多时了。
谢谢楼上的热心人，真心的谢谢你！
我已经采集了，成功了，谢谢你！

gdbj168 · 发表于 2008-9-19 16:13:09

这样你测测，看怎样

<a href="" target="_self" *>*</a>

sj_nc · 发表于 2008-10-11 05:28:03

大哥。。这样的分页应该怎么写啊。。
演示网址页面：http://www.cnncw.cn/System/Edu/EduNews/2008-9/17/15_58_54_2.html

第一页
<p><div align="right">本新闻共<font color=red>2</font>页,当前在第<font color=red>1</font>页  <font color="red">1</font>  <a href="15_58_54_2.html">2</a>  </div></p><script language=Javascript src=http://www.cnncw.cn/ReviewContent.asp?NewsID=0891715582153735></script>
第二页
<div align="right">本新闻共<font color=red>2</font>页,当前在第<font color=red>2</font>页  <a href="15_58_54.html">1</a>  <font color="red">2</font>  </div></p><script language=Javascript src=http://www.cnncw.cn/ReviewContent.asp?NewsID=0891715582153735></script>

		自动登录	找回密码
密码			立即注册

[采集] 我们一起来研究采集规则中的分页采集问题（包含上下页和页码采集）

回复 7# v215com 的帖子