发觉之前的解决思路有问题，决定先爬取页面数据存入数据库，然后另外一个任务再一个页面一个页面分析内容提取数据。
存储字段包括地址来源网站，页面文字内容。
目前用 mysql 加 redis 用来 url 去重
This topic created in 2839 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 3, 2019
先按 1-3 楼的试试
 |
GeekCourseFeb 3, 2019 via Android
1
当然是直接存到硬盘里
|
 |
2
存文件吧，mysql 做 index
|
1 |
3
大量文件存在一个目录下有时有效率问题。试试 leveldb ？
|
 |
4
...落硬盘怎么横向扩展，数据落 mongo, redis 去重。
|
 |
CSMFeb 3, 2019 via Android
5
如果 URL 非常多并且能容忍重复的话，可以考虑布隆过滤器。
|
 |
nicoljiangFeb 4, 2019
6
Mysql 不就可以吗，百万千万都能存。。。
|
 |
lengyihanFeb 4, 2019 via Android
7
oracle 肯定够。
|
|
8
@CSM 布隆不会出现重复，而是有部分未爬过的 url 会认为爬过。
|
|
CSMFeb 4, 2019 via Android
9
@lynskylate 噢噢你说的对，感谢感谢
|
Select Language