主题 : jeecms 爬虫 1.3 正式版 (附带整合 jeecms2012工程源码)
级别: 举人
UID: 977
积分:196 加为好友
威望: 1 精华: 0
主题:33 回复:64
注册时间:2009-10-14
在线时长:0
1#   发表于:2012-02-11 08:54:20  IP:222.56.*.*
显示全部 只看该作者
已经更新到2.0了
jeecms 爬虫 2.0 正式版 



这次把爬虫和定时任务框架提炼了出来，新增了分页内容采集参数设置，同时修改了2012分页BUG，添加了 专题选择，内容直接可进入选择的专题，根据是否有图片 判断内容类型：普通/图文.等。。。爬虫内部也做了不少修改。还有些细节的调整就不一一列举了，有兴趣的朋友，下来看看，让我们共同进步


我的小站：www.meishih.com就是基于此爬虫建立的，已经采集了上万条数据了。
有做网站的朋友 交换个链接吧：），这年头自己搞网站不容易，大家相互帮助哈：）,先谢了！
小站网址：www.meishih.com
小站名称：美食汇
logo地址:http://www.meishih.com/r/cms/www/red/img/logo.gif



/**********************2012-02-14 更新*******************************/
修改了采集内容分页问题，增加采集内容分页补全URL字段
程序和SQL已经更新

/**********************2012-03-02 更新*******************************/
新增采集参数：是否去重，是否使用代理，代理服务器地址及端口
新增爬虫配置参数文件，系统启动自动加载
修复采集有分页时，无法停止BUG....等
其他一些小化
程序和SQL已经更新
采集参数表SQL:
 `repeat_check_type` varchar(20) NOT NULL DEFAULT 'NONE' COMMENT '重复类型',
  `use_proxy` varchar(20) DEFAULT 'false' COMMENT '是否使用代理',
  `proxy_port` varchar(100) DEFAULT NULL COMMENT '代理地址端口',
  `proxy_address` varchar(100) DEFAULT NULL COMMENT '代理地址',


注意：工程删除了已有的文件夹，如：thirdparty，r,res等以及LIB包


采集参数设置效果图：

采集进度：

分页：




sql

新增的jar文件
lib.rar
工程
myjeecms.rar
路漫漫其修远兮，唔将上下而求索，www.javacoo.com
使用道具
   顶端
级别: 秀才
UID: 3861
积分:91 加为好友
威望: 0 精华: 0
主题:2 回复:81
注册时间:2010-03-02
在线时长:0
2#   发表于:2012-02-11 12:58:55  IP:220.40.*.*
显示全部 只看该作者
我很幸运能看到
使用道具
   顶端
级别: 童生
UID: 3873
积分:25 加为好友
威望: 0 精华: 0
主题:1 回复:20
注册时间:2010-03-02
在线时长:0
3#   发表于:2012-02-11 14:27:51  IP:180.151.*.*
显示全部 只看该作者
十分感谢
使用道具
   顶端
级别: 童生
UID: 15706
积分:13 加为好友
威望: 0 精华: 0
主题:0 回复:12
注册时间:2011-02-17
在线时长:0
4#   发表于:2012-02-11 15:23:02  IP:59.32.*.*
显示全部 只看该作者
11111
使用道具
   顶端
级别: 童生
UID: 29336
积分:19 加为好友
威望: 0 精华: 0
主题:0 回复:18
注册时间:2012-02-11
在线时长:0
5#   发表于:2012-02-11 17:03:11  IP:113.103.*.*
显示全部 只看该作者
支持开源
使用道具
   顶端
级别: 举人
UID: 568
积分:117 加为好友
威望: 0 精华: 0
主题:2 回复:118
注册时间:2009-08-22
在线时长:0
6#   发表于:2012-02-11 17:15:30  IP:124.141.*.*
显示全部 只看该作者
  

级别: 童生
 积分:10
UID: 29336
精华: 0 
主题:0
回复:9
注册时间:2012-02-11
 5#   发表于:2012-02-11 17:03:11  IP:113.103.*.* 显示全部 只看该作者支持开源 
使用道具
   顶端
级别: 童生
UID: 29327
积分:16 加为好友
威望: 0 精华: 0
主题:0 回复:12
注册时间:2012-02-11
在线时长:0
7#   发表于:2012-02-11 18:53:51  IP:123.236.*.*
显示全部 只看该作者
使用道具
   顶端
级别: 童生
UID: 26586
积分:10 加为好友
威望: 0 精华: 0
主题:0 回复:9
注册时间:2011-12-07
在线时长:0
8#   发表于:2012-02-11 21:04:32  IP:59.102.*.*
显示全部 只看该作者
支持开源.
使用道具
   顶端
级别: 白丁
UID: 29271
积分:9 加为好友
威望: 0 精华: 0
主题:0 回复:7
注册时间:2012-02-10
在线时长:0
9#   发表于:2012-02-12 18:49:22  IP:116.2.*.*
显示全部 只看该作者
掀起你的盖头来
使用道具
   顶端
级别: 举人
UID: 14044
积分:113 加为好友
威望: 0 精华: 0
主题:1 回复:87
注册时间:2011-01-04
在线时长:0
10#   发表于:2012-02-12 19:05:13  IP:59.219.*.*
显示全部 只看该作者
asdasdasdasdas
使用道具
   顶端
1 2 3 4 5 6 7 8 9 10 > >| 共34页