python 并发请求

在Python中，可以使用多种方式实现并发请求，以下是一些常见的方法：

使用concurrent.futures模块中的ThreadPoolExecutor或ProcessPoolExecutor来创建线程池或进程池，然后使用submit方法提交任务并获取结果。

from concurrent.futures import ThreadPoolExecutor, as_completed

# 创建线程池
executor = ThreadPoolExecutor(max_workers=5)

# 提交任务
futures = [executor.submit(request_function, url) for url in urls]

# 获取结果
for future in as_completed(futures):
    result = future.result()
    # 处理结果

使用asyncio模块和aiohttp库来实现异步请求。

import asyncio
import aiohttp

async def request_function(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

async def main():
    tasks = [request_function(url) for url in urls]
    results = await asyncio.gather(*tasks)
    # 处理结果

# 创建事件循环并运行任务
loop = asyncio.get_event_loop()
loop.run_until_complete(main())

使用第三方库grequests来实现并发请求。

import grequests

# 创建请求对象
requests = [grequests.get(url) for url in urls]

# 发送请求
responses = grequests.map(requests)

# 处理结果
for response in responses:
    # 处理response

这些方法都可以实现并发请求，具体选择哪种方法取决于你的需求和项目的特点