针对类似如下网站，http://app.zjepb.gov.cn:8089/nbjcsj/
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
1. 按照规定的数据库表的格式，将基础数据和每小时的实时数据内容爬取下来存入数据库,其中初始阶段应将所有可能的历史数据保存。
算法要求：
1，从之前向现在的时间取爬取，这样如果因为网络等原因断开后，再次开始时，能自动从更早的时间点开始爬取。
2. 如果超时，至少要有3次重试。再超时，或者发生错误时，能发送邮件给指定人。
3. 性能：内存不能超过300M， CPU使用率不能超过30%，数据库链接数需控制在5个以内。
4. 数据库：已设计好，使用postgresql.
5. 任务调度：需使用celery。
因为需爬取的各类资源比较多，因此希望尽可能长期合作。
1
Select Language