RT。求推荐,Lucene+、utch 太老了
|
marchteaNov 22, 2013
1
关注,同求解答
|
|
2
定向抓取,问问Spider的RD就好了。
不过自己搞的话量不大的用Scrapy不错,有个参考 https://github.com/gnemoug/distribute_crawler 用Mongodb做存储,Redis做分布式队列 |
|
3
我开源一个吧,特性:
* web方式写脚本+调试(甚至支持webdav通过外部编辑器编辑) * web管理查看进度,调整抓取速度,异常监控(用于监控模板变化) * 脚本支持定时,完全的抓取控制 * 多种调度方式(时间,etag,前链特殊标记调度) * 单机或分布式部署方式 * 支持多种底层存储方式,多种QUEUE方案,多下游 |
|
richiefansNov 23, 2013
4
@binux 太支持了
|
|
5
最后自己写了个简单的spider
|