今天就跟大家聊聊有关python中怎么实现异步url请求,可能很多人都不太了解,为了让大家更加了解,小编给大家总结了以下内容,希望大家根据这篇文章可以有所收获。
# pip install aiohttp import asyncio import aiohttp template = 'http://exercise.kingname.info/exercise_middleware_ip/{page}' async def get(session, queue): while True: try: page = queue.get_nowait() except asyncio.QueueEmpty: return url = template.format(page=page) resp = await session.get(url) print(await resp.text(encoding='utf-8')) async def main(): async with aiohttp.ClientSession() as session: queue = asyncio.Queue() for page in range(1000): queue.put_nowait(page) tasks = [] for _ in range(100): # task = fetch_files(session, queue) task = get(session, queue) tasks.append(task) await asyncio.wait(tasks) # async def fetch_files(session, queue): # while True: # try: # page = queue.get_nowait() # except asyncio.QueueEmpty: # return # url = template.format(page=page) # async with session.get(url) as resp: # with open('{}.txt'.format(page), 'w', encoding='UTF-8') as fd: # data = await resp.content.read() # fd.write(data.decode('utf-8')) loop = asyncio.get_event_loop() loop.run_until_complete(main())
创建了100个协程,并把它提交给asyncio.wait来统一调度。asyncio.wait会在所有协程全部结束的时候才返回
1000个 URL 放在asyncio.Queue生成的一个异步队列里面,每一个协程都通过 while True 不停从这个异步队列里面取 URL 并进行访问,直到异步队列为空,退出
看完上述内容,你们对python中怎么实现异步url请求有进一步的了解吗?如果还想了解更多知识或者相关内容,请关注亿速云行业资讯频道,感谢大家的支持。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。