Discuz!官方免费开源建站系统

 找回密码
 立即注册

QQ登录

只需一步,快速开始

搜索

[采集] 让Supesite7.5定时自动采集的详细设置方法 实测通过

[复制链接]
xiejie19860912 发表于 2011-3-10 11:30:09 | 显示全部楼层 |阅读模式
配置要求:服务器需要支持cron修改添加权限
1、在supesite根目录下建立alimenhu.com_caiji.php和 alimenhu.com_admincp.php两个文件
2、在supesite的admin目录下建立alimenhu.com_robots.php

需要注意的是alimenhu.com_caiji.php中有两个地方,域名要修改成你自己的
<?php
echo date("Y-m-d H:i:s");
echo "\n";
caiji("http://www.alimenhu.com/alimenhu.com_admincp.php?action=robots& amp;op=robot&clearcache=1&robotid=".$argv[1]);//这里www.alimenhu.com换成你的网址
echo date("Y-m-d H:i:s");
Function caiji($next)
{
echo $next."\n";
$ch2 = curl_init();  
$user_agent = "Baiduspider+(+http://www.baidu.com/search/spider.htm)";
curl_setopt($ch2, CURLOPT_URL, $next);  
curl_setopt($ch2, CURLOPT_HEADER, false);  
curl_setopt($ch2, CURLOPT_RETURNTRANSFER, 1);  
curl_setopt($ch2, CURLOPT_USERAGENT, $user_agent);  
$orders = curl_exec($ch2);  
//echo '';  
//echo strip_tags($orders);  
//echo '';  
curl_close($ch2);
$str=strip_tags($orders);
$start="window.location.replace('";
$end="setTimeout";
$siteurl="http://www.alimenhu.com"; //这里www.alimenhu.com换成你的网址
$a=strpos($str,$start);
$b=strpos($str,$end);
if ((!$a) or (!$b))
return(0);
$len=$b-$a-strlen($start);
$c=strip_tags(substr($str, $a+strlen($start), $len));
$next=$siteurl.trim(str_replace("');","",str_replace("}","",$c)));
if ($next==$siteurl)
echo "\n";
else
caiji($next);
}
?>
3、在后台添加采集的机器人,并记录机器人ID。
4、运行命令crontab -e(linux或unix系统),根据需要,添加自动运行的脚本,格式如下,运行的频率、php文件地址和机器人ID需要根据自己的需要来修改:
5 * * * * /usr/bin/php /htdocs/alimenhu.com_caiji.php 1
10 * * * * /usr/bin/php /htdocs/alimenhu.com_caiji.php 2
#(注释:5 * * * * 表示每个小时的第5分钟运行一次,/usr/bin/php是运行程序php的地址,/htdocs/alimenhu.com_caiji.php是采集脚本 alimenhu.com_caiji.php的地址,1是采集机器人ID)

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
wzq2008 发表于 2011-3-10 18:42:18 | 显示全部楼层
至少需要VPS,虚拟主机是不行的
回复

使用道具 举报

letuwan 发表于 2011-3-11 14:48:06 | 显示全部楼层
本帖最后由 letuwan 于 2011-3-11 14:48 编辑

顶楼主,支持楼主,楼主辛苦了











SINGATURE-------------------------------------------------------------
http://www.tianliqy.com上海注册公司
回复

使用道具 举报

51717531 发表于 2011-3-11 15:06:39 | 显示全部楼层
这个安全测试过了么??

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

手机版|小黑屋|Discuz! 官方站 ( 皖ICP备16010102号 )star

GMT+8, 2024-11-15 10:09 , Processed in 0.030421 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表