我研究了半天 scrapy 发现搞的太复杂了。 除非大规模的爬， 一般 爬个几个站 不若自己写的方便。 不知是不是我打开 scrapy 的方式有问题。 我看到大家都在推崇 scrapy。
This topic created in 2607 days ago, the information mentioned may be changed or developed.
 |
forgottencoastSep 18, 2019 via iPhone
1
标题和内容冲突啊？
|
 |
sanjusssSep 18, 2019
2
我用的.net core 写爬虫，和你差不多。总感觉 dotnetspider 框架太复杂，写个简单的功能要绕弯好远，有的功能直接不能实现。最后自己写，部分功能直接 copy 框架。
|
 |
gimpSep 18, 2019
3
设问句？
|
 |
nevin47Sep 18, 2019 via Android
4
我也觉得 scrapy 太复杂了，但是工程化开发肯定 scrapy 好，自己写点小东西随便用用 urllib 就完事儿了，但是大规模爬的时候吃力感就出来了
|
 |
sadfQED2Sep 18, 2019 via Android
5
你自己都说了，大规模爬虫用，另外你用熟了小项目用其实也很方便
|
 |
anterosSep 18, 2019
6
先问是不是，再问为什么。
|
 |
yinjySep 18, 2019
7
小项目也是 scrapy 方便啊，基础代码不用自己写
|
 |
qsnow6Sep 18, 2019 via iPhone
8
如何定义小规模
|
 |
patxSep 18, 2019 via Android
9
nodejs 写爬虫
|
 |
10
简单的用 requests，
稍微上点规模的就用框架了，自己造轮子多麻烦 |
1 |
11
因为直接用 requests 已经可以满足大部分需求了，而且简单快捷
|
 |
ljspythonSep 18, 2019
12
requests 已满足基本小需求了
|
 |
bonfySep 18, 2019
13
requests 就可以了，为什么要去学个重量级的框架呢，学习不要成本的么？
|
 |
tozpSep 18, 2019
14
我只用 Go
|
 |
fank99Sep 18, 2019
17
写到最后。。你会发现你写的东西越来越像“scrapy”
这时候，你会问自己，我当时咋想的，为啥不直接用 scrapy 呢 |
 |
coolairSep 18, 2019
18
看文档的时间已经写好了。
|
 |
alphardexSep 18, 2019 via iPhone
19
自己写了个小型框架 looter，比 scrapy 轻便多了，地址： https://github.com/alphardex/looter
|
 |
zqjiloveSep 18, 2019
20
如果考虑到后期分布式的便携性。scrapy 是很好的选择，如果只是单机跑跑，其实上不上 scrapy 都可以
|
 |
chengxiaoSep 18, 2019
21
小规模用 scrapy 才快吧......几句业务 就 ok 了
|
 |
BooksESep 18, 2019
22
我十几个站都用 scrapy 爬的。。scrapy 很好用
|
 |
WuMingyuSep 18, 2019
23
可以写个 scrapy 的模版，用的时候 copy 下，再改改一些业务代码
|
 |
ClericPySep 18, 2019
24
自己的 async await, 为什么要折腾 twisted, 后者作者倒是挺厉害... 能把 guido 老爹气出门去
|
 |
d5Sep 18, 2019
25
小折腾用 requests + pyquery 梭哈
|
 |
niknikSep 18, 2019
26
emmm，就我目前的站点数据，都用不上 scrapy。。。。直接脚本了
|
Select Language