cqcn1991
V2EX  ›  问与答

微博、微信公众号现在有什么比较好的爬虫方案吗?

  •  
  •   cqcn1991 · Apr 6, 2016 · 3807 views
    This topic created in 3875 days ago, the information mentioned may be changed or developed.

    想定期爬几个微博号、公众号的数据,做个信息汇总的网站 但是不知道现在微博和公众号的爬取难度如何?

    8 replies  •  2016-05-01 17:55:41 +08:00
    liaowu
    liaowu
    Apr 6, 2016 via iPhone
    1
    公众号爬搜狗就好了。历史文章都有
    cqcn1991
    cqcn1991
    OP
    Apr 6, 2016 via iPhone
    2
    @liaowu 话说有没例子?还是得做 cookies 那种?
    zcoder
    zcoder
    Apr 6, 2016
    3
    @cqcn1991 不需要 cookie ,直接从 http://weixin.sogou.com/ 爬取
    dong3580
    dong3580
    Apr 6, 2016 via Android
    5
    用 c#上的 webbrower 爬取,不过微博可能翻页会有验证码
    vvaaiinn
    vvaaiinn
    Apr 8, 2016
    6
    @cqcn1991 楼主你好、最近也在搞这个、但是水平有限、不知道怎么免过登陆、可否加个联系方式交流交流
    cqcn1991
    cqcn1991
    OP
    Apr 8, 2016
    7
    @vvaaiinn 我也是啊...不知道怎么搞....我根本抓不到相关的信息
    cqcn1991
    cqcn1991
    OP
    May 1, 2016
    8
    @liaowu
    @zcoder
    @dong3580
    已经基本解决了小量的爬取,我自己是 Ruby ,用的 PhantomJS
    凑合着用吧...
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2992 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 05:22 · PVG 13:22 · LAX 21:22 · JFK 00:22
    ♥ Do have faith in what you're doing.