DISCUZ爬虫及自动发帖功能及远程图片自动下载

scckfzx · 发表于 2008-8-17 23:35:29

研究了几天,终于写了个小东西
功能:
1)爬虫,每天定时在网络上爬各网站当天新发表的文章,存入数据库.
这点和采集器不一样,爬虫只爬各网站当天新发的文章.
2)对存入数据库的文章根据关键词进行分类,不相关的文章删除.
3)分类后的文章可以定时添加到DISCUZ论坛和DEDECMS中,其他论坛及CMS正在完善中!
每天上万篇原创文章不在是梦.我一台电脑一天10小时爬近万篇文章.其中80%以上在百度还没有收录.

需要者请跟帖!

由于爬虫在使用过程中占用系统资源太厉害,需要重新设计算法,可能要耽误一段时间才能发.

先把远程图片自动下载放出来,见https://discuz.dismall.com/thread-1021033-1-1.html 这个帖

[ 本帖最后由 scckfzx 于 2008-8-21 19:20 编辑 ]

jackychar · 发表于 2008-8-17 23:38:29

真的假的
放出来哦

飘香公主 · 发表于 2008-8-17 23:40:05

看看再说了！

mosen77 · 发表于 2008-8-17 23:43:32

应该不错...

家俊 · 发表于 2008-8-17 23:43:32

我需要唷

凡军 · 发表于 2008-8-17 23:59:52

可以的话
给我一份

啸天 · 发表于 2008-8-18 00:25:23

发一份谢谢！
80729489@qq.com

liukuihappy · 发表于 2008-8-18 00:33:01

赶快放出来啊兄弟
14768755@qq.com
给我一份，我给你测试

Milkycloud · 发表于 2008-8-18 00:40:34

Love to try (::36::)

八部天龙 · 发表于 2008-8-18 01:22:25

sevr@163.com

谢谢

		自动登录	找回密码
密码			立即注册