如题,希望各路大佬知道,告知一下。
PS:本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。
本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了😄。
如题,希望各路大佬知道,告知一下。
PS:本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。
本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了😄。
|
1
幽灵蛛
|
|
malagebidiMar 3, 2018
2
用 huginn+feedly,完全满足需求。
|
|
devjoeMar 3, 2018 via iPhone
3
直接加载整个网页,然后利用 XPath 解析就行
|
|
bogunMar 3, 2018 via Android
4
可以试一下 portia,可视化爬虫
|
|
likukuMar 3, 2018
5
IFTTT ?
|
|
6
可以看下 pyspider
|
|
7
那你就先 mock 一个数据开发呗,做完再说。说不定中途就放弃了
|
|
lScarletMar 3, 2018 via Android
8
马克
|
|
brotherlegendMar 3, 2018 via Android
9
看大佬们回答
|
|
10
toapi
可以把网站变成 api |
|
silencefentMar 3, 2018
11
神箭手
|
|
giuemMar 3, 2018 via iPhone
12
|
|
13
这不就是我的 APP [下一栈]( https://nextstack.xyz)
该做的事吗! 原理也是一样,把网站的 html 或者 rss 或者 json api 转换成固定的 json 数据格式,只不过不用爬虫,直接在客户端进行爬取解析,欢迎体验! |
|
sparkssssssssMar 3, 2018 via iPhone
14
马克
|
|
zhtttyechoMar 3, 2018
15
马克
|
|
zheshengMar 3, 2018 via Android
16
马克
|
|
anonnymousMar 3, 2018
17
克马
|
|
EsoraMar 3, 2018
18
mark
|
|
leriouMar 3, 2018
19
八爪鱼试试
|
|
sohoerMar 3, 2018
20
可以先试用下 hicrawler.com ,目前支持 json api 或发布到 wordpress
|
|
golmicMar 3, 2018 via Android
22
我可以免费提供数据方面的技术支持。微信 lujqme,可以联系我
|
|
limbo0Mar 3, 2018 via iPhone
23
不趁现在学习一波 python 吗
|
|
rootitMar 3, 2018
24
你想的太简单了。。。
|
|
25
@just1 #21
这类是固定的解析模版,比如 v1.4 的简书专题(近日发布),v1.5 的 hexo 博客支持(待发布)以及后续的 wordpress 博客站点等等一些较常用的 cms 系统(因为基本 dom 元素一致,所以解析代码通用)。 当然,你有兴趣可以看看开发文档,你会发现绝大部分的网站都可以进行创作哒! |
|
xuanyuanaoshengMar 4, 2018 via Android
26
mark
|
|
mlyyMar 4, 2018
27
这里有两层难度
- "指定网站和规则" - "我指定网站和规则" |
|
agdholeMar 4, 2018
28
造数了解一下
|
|
demonchangMar 4, 2018 via iPhone
29
发源地云采集引擎,可以看一下。自带周期更新
|
|
dobeleeMar 4, 2018 via Android
30
mark
|
|
gouchaoerMar 4, 2018 via Android
31
正在做相关的东西,我爬虫攻城狮干了几年了
|
|
wwb721Mar 4, 2018
32
马克
|
|
idcspyMar 4, 2018
33
造数好像可以。
|
|
ShuraMar 4, 2018
34
feed43
|
|
qiqicoMar 4, 2018
37
https://www.showapi.com/ent 这个也不错,支持一些自定义规则
|
|
beginorMar 4, 2018 via Android
38
|
|
lisztliMar 4, 2018
39
|
|
lisztliMar 4, 2018
40
scrapinghub 和 scrapy 框架直接绑定,有免费配额,可以直接使用。
|
|
zlstllMar 5, 2018
41
mark 一下
|
|
dingdongMar 5, 2018
42
提供这种服务的网站,如果存储了爬虫数据,在国内会面临法律风险吧
|
|
JaegerMar 5, 2018
43
|
|
midyskyMar 6, 2018
44
发源地云采集引擎,专门干这个事的。刚刚已开源。https://github.com/finndy/finndycloud
|
|
midyskyMar 6, 2018
45
[发源地] 数据源市场有 10 几万个网站的规则。很多开发者发布的免费规则可以使用。
|
|
8bitsDec 15, 2018
46
|