推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
plantparknet
V2EX  ›  Python

无聊用 scrapy 写了一个爬去链家二手房和租房数据的爬虫,数据格式 json

  •  
  •   plantparknet · Sep 16, 2016 · 6849 views
    This topic created in 3716 days ago, the information mentioned may be changed or developed.
    13 replies  •  2016-09-18 17:59:04 +08:00
    bao3
    bao3
    Sep 16, 2016 via Android
    1
    哈哈,我正在找这种,我正好要租房,所以想要这种可以抓下来统计,再下手的脚本。我是小白,所以感谢了。叩拜
    wyntergreg
    wyntergreg
    Sep 16, 2016
    2
    scrapy 略慢啊
    TKKONE
    TKKONE
    PRO
    Sep 16, 2016
    3
    看来, V2EX 已经没人对这种感兴趣了,除非你说你爬了某榴
    zhongshaohua
    zhongshaohua
    Sep 16, 2016
    4
    @tumbzzc 爬了草某也可以的
    LokiSharp
    LokiSharp
    Sep 16, 2016
    5
    为什么 items 要分成 3 个,而里面的 class 名都取 ItjuziItem 啊= =感觉这样好乱啊。。。
    plantparknet
    plantparknet
    OP
    Sep 17, 2016
    6
    @tumbzzc
    @zhongshaohua
    这这。。。好像并没有什么难度吧。。。当然,如果把 bt 自动提取下载,那就另当别论了
    plantparknet
    plantparknet
    OP
    Sep 17, 2016
    7
    @LokiSharp 才学,并不是特别会用。。。
    sparkssssssss
    sparkssssssss
    Sep 17, 2016 via Android
    8
    马克!感谢分享!
    icylord
    icylord
    Sep 17, 2016
    9
    @tumbzzc 1024 不是早没了么
    sola97
    sola97
    Sep 17, 2016
    10
    @icylord t66y 那个是啥
    plantparknet
    plantparknet
    OP
    Sep 17, 2016
    11
    @icylord 哈哈哈哈 看来是不会翻墙呀~~ 放到收藏夹好久了~~ 可惜的是某榴的种子文件下载是非常麻烦呀~~
    noahyu
    noahyu
    Sep 18, 2016
    12
    去年年初爬过,当时的数据水分很大,同一房源重复发布频率很高(不是对房源更新,而是另外发一条) 需要做一些去重处理后再分析
    plantparknet
    plantparknet
    OP
    Sep 18, 2016
    13
    @noahyu 哦,数据爬取下来还没分析呢~~ 还没注意到这个问题
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2544 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 51ms · UTC 11:11 · PVG 19:11 · LAX 03:11 · JFK 06:11
    ♥ Do have faith in what you're doing.