Python 异步和线程的一些疑问

json_data = [
    'aaa': {
        'url': '....',
        'data': '...'
    },
    'bbb': {
        'url': '....',
        'data': '...'
    },
    'ccc': {
        'url': '....',
        'data': '...'
    },

    ...
 ]

利用 json_data 里面的 url 地址去请求返回数据然后替换 url 的值

同步请求太慢了如何利用异步或者线程请求

url'

data'

json_data

异步

7 replies • 2018-05-22 14:08:14 +08:00

zhantss

May 22, 2018

用协程
asyncio+aiohttp

ltoddy

May 22, 2018

用线程池, futures 模块里面的。

enenaaa

May 22, 2018

requests-futures
可以用现成的库

prim

May 22, 2018

gevent + requests
几行代码

diggerdu

May 22, 2018

multiprocessing.pool.imap_async

whx20202

May 22, 2018

你只是说太慢了，那么简单的话起几个线程，异步然后 join 就行了
速度取决于最慢的那个

如果数目很多，就用上面说的就行了。几个没必要用那些协程库

NxnXgpuPSfsIT

May 22, 2018

没懂替换 url 的值，如果是替换 data 的值的话是不是这个意思？

import trip

json_data = {'a': {'url': 'https://www.v2ex.com', 'data': '' },}

@trip.coroutine
def fetch(k):
r = yield trip.get(json_data[k]['url'])
json_data[k]['data'] = r.content

def main():
yield [fetch(k) for k in json_data]

trip.run(main)