Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

[疑问] 请教,采集的问题 高手请进。。

[复制链接]
qdcaishen 发表于 2009-6-15 09:23:05 | 显示全部楼层 |阅读模式
本帖最后由 qdcaishen 于 2009-6-15 10:07 编辑

采集的时候有两种分页方法:页码导航和上下页导航
页码导航没问题
关键是上下页导航,被采集的页面上下页导航时循环的(既从最后一页的下一页又是第一页),用ss采集器采的话,就会无限的循环下去。
怎么样才能判断终止?
我觉得
采集到相同的网页地址,就可以判断终止,但是再哪里修改判断?
谁能给个答复,请高手回答
  1.         //文章内容分页链接识别规则
  2.         $pageurlarr = array();
  3.         $_POST['messagepageurlrule'] = !empty($_POST['messagepageurlrule']) ? sstripslashes(trim($_POST['messagepageurlrule'])) : '';
  4.         if(!empty($_POST['messagepageurlrule'])) {
  5.                 $urlarr = pregmessage($messagepagearr[0], $_POST['messagepageurlrule'], 'page', -1);                //解析上步过虑后的结果
  6.                 $pageurlarr = sarray_unique($urlarr);        //去重
  7.         }
  8.         if($_POST['debugprocess'] == 'messagepageurlrule') {
  9.                 $infoarr = array(
  10.                         'code'        =>        $pageurlarr,
  11.                         'url'        =>        $newurlarr[0],
  12.                         'rule'        =>        $_POST['messagepageurlrule'],
  13.                         'source'        =>        $messagepagearr[0]
  14.                 );
  15.                 printruledebug($infoarr);
  16.         }        //$pageurlarr 链接数组
  17.        
  18.        
复制代码
 楼主| qdcaishen 发表于 2009-6-15 09:36:30 | 显示全部楼层
:) 在线等待中。。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2024-12-29 15:20 , Processed in 0.022617 second(s), 3 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表