推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
Maskeney
V2EX  ›  Python

如何利用爬虫批量获取多帐号登录后显示的信息?

  •  
  •   Maskeney · Feb 22, 2016 · 3080 views
    This topic created in 3803 days ago, the information mentioned may be changed or developed.
    比如说一个网页需要输入账号密码才能显示出信息,并且每个帐号现实的信息都不相同,如何用爬虫实现从文件读取帐号密码,自动输入-抓取数据-保存到文件-继续读取下一个帐号-输入下一个帐号密码-抓取下一个帐号密码-再保存到文件,直到把所有的帐号爬完。写完才发现这个需求好像有点干坏事的样子...好吧其实不是..小白用户恳切希望能有大大耐心写写如何实现的
    6 replies    2016-02-22 17:45:56 +08:00
    knightdf
        1
    knightdf  
       Feb 22, 2016
    不就是多线程登录么,提交表单的事,原来写过集群登录 LinkedIn 抓取账号的
    popok
        2
    popok  
       Feb 22, 2016
    你就按照正常浏览器操作的流程来模拟不就完了。

    提交用户名和密码登录,获取 cookie ,然后带着 cookie 获取信息
    pyengwoei
        3
    pyengwoei  
       Feb 22, 2016
    1 、先读取所有帐号密码报错 存放到一个列表
    2 、 FOR 帐号循环列表,
    2-1 、登录,
    2-2 、保存 COOKIE 到一个列表
    3 循环里面就是你要干的事情
    pyengwoei
        4
    pyengwoei  
       Feb 22, 2016
    上面错了两个字 是保存 不是报错
    Maskeney
        5
    Maskeney  
    OP
       Feb 22, 2016
    @pyengwoei 你的意思是先保存 cookie 最后再用 cookie 读取内容?
    Maskeney
        6
    Maskeney  
    OP
       Feb 22, 2016
    @popok @knightdf 有没有 python 入门学习的途径?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4575 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 00:10 · PVG 08:10 · LAX 17:10 · JFK 20:10
    ♥ Do have faith in what you're doing.