爬 10 万条电商数据，同步爬虫要 12 小时还被封 IP？换成 Asyncio + Aiohttp 异步爬虫，1 小时 10 分钟搞定、速度快 10 倍，被封概率还降了 90%。本文手把手教你写，所有代码可直接运行。

一、同步 vs 异步：差在哪？

Asyncio 是 Python 标准异步库，核心是事件循环（Event Loop）：在等待 IO（网络、文件）时切去干别的任务，不阻塞。一句话——让等待的时间重叠起来，效率就上去了。

二、实战准备：装依赖 + 反爬三板斧

先装依赖：

pip install aiohttp aiofiles fake-useragent

反爬三板斧：① 随机 User-Agent，每次请求换浏览器标识；② 限速控制，请求间加随机延迟；③ 异常重试，失败自动重试 3 次。

三、完整可运行代码：异步爬虫实现

下面这段代码可直接运行，以爬取掘金文章列表为例。核心是一个 AsyncCrawler 类：信号量限并发、随机 UA、重试、异步存盘，一条龙。

import asyncio import aiohttp import aiofiles import json from fake_useragent import UserAgent import random import logging  # 配置日志 logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s") ua = UserAgent()  class AsyncCrawler:     def __init__(self, max_concurrency=10, max_retry=3):         self.max_concurrency = max_concurrency  # 最大并发数         self.max_retry = max_retry  # 最大重试次数         self.semaphore = asyncio.Semaphore(max_concurrency)  # 限制并发数         self.results = []      async def fetch(self, session, url):         """发送单个异步请求，带重试和随机User-Agent"""         headers = {             "User-Agent": ua.random,             "Referer": "https://juejin.cn/"         }         for retry in range(self.max_retry):             try:                 # 加随机延迟，避免请求频率过高                 await asyncio.sleep(random.uniform(0.5, 2))                 async with session.get(url, headers=headers, timeout=aiohttp.ClientTimeout(total=10)) as response:                     if response.status == 200:                         return await response.json()                     else:                         logging.warning(f"请求失败，状态码：{response.status}，重试第{retry+1}次")             except Exception as e:                 logging.warning(f"请求异常：{e}，重试第{retry+1}次")                 await asyncio.sleep(1)         logging.error(f"请求失败，达到最大重试次数：{url}")         return None      async def parse(self, data):         """解析返回的数据，提取需要的内容"""         if not data or "data" not in data:             return None         articles = data["data"]         result = []         for article in articles:             result.append({                 "title": article["article_info"]["title"],                 "url": f"https://juejin.cn/post/{article['article_id']}",                 "likes": article["article_info"]["digg_count"]             })         return result      async def save(self, data, filename="articles.json"):         """异步保存数据到文件"""         if not data:             return         async with aiofiles.open(filename, "a", encoding="utf-8") as f:             await f.write(json.dumps(data, ensure_ascii=False) + "\n")         logging.info(f"保存{len(data)}条数据到{filename}")      async def crawl(self, urls):         """启动异步爬虫"""         async with aiohttp.ClientSession() as session:             tasks = []             for url in urls:                 # 用信号量限制并发数，避免并发过高被封                 async with self.semaphore:                     task = asyncio.create_task(self.process(session, url))                     tasks.append(task)             # 等待所有任务完成             results = await asyncio.gather(*tasks)             # 过滤掉None的结果             self.results = [r for r in results if r]         return self.results      async def process(self, session, url):         """处理单个URL：请求-解析-保存"""         data = await self.fetch(session, url)         if not data:             return None         parsed_data = await self.parse(data)         if parsed_data:             await self.save(parsed_data)         return parsed_data  if __name__ == "__main__":     # 掘金推荐文章列表API，可以换不同的参数爬取更多内容     urls = [         f"https://api.juejin.cn/recommend_api/v1/article/recommend_cate_feed?cate_id=1&cursor={i*20}&limit=20&sort_type=200"         for i in range(10)  # 爬取前200篇文章     ]     crawler = AsyncCrawler(max_concurrency=5, max_retry=3)     # 启动异步事件循环     asyncio.run(crawler.crawl(urls))     logging.info(f"爬取完成，共获取{len(crawler.results)}批数据")

四、性能实测：快了 10 倍以上

实测爬 200 个页面：同步（requests）总耗时 48 分钟、平均 14.4 秒/请求、被封 7 次；异步（asyncio+aiohttp）总耗时 4 分 20 秒、平均 1.3 秒/请求、被封 0 次。速度翻 10 倍，还因为随机延迟+限速几乎不被封。

五、异步编程 3 个坑，别再踩

1. 别在异步里用同步阻塞：requests、time.sleep() 会卡死整个事件循环。
   2. 并发数别太高：一般 5–10 个足够，太高反而触发反爬。
   3. 务必捕获异常：一个请求挂了没捕获，会让整批任务崩掉。

小结

异步编程一句话总结：IO 等待时去做别的事。IO 密集型任务（批量请求、爬虫、API 调用）就上 Asyncio + Aiohttp，配 Semaphore 限流 + 随机延迟 + 重试，速度提 10 倍还稳。CPU 密集型则交给多进程。

 更多相关技术内容咨询欢迎前往并持续关注好学星城论坛了解详情。

想高效系统的学习Python编程语言，推荐大家关注一个微信公众号：Python编程学习圈。每天分享行业资讯、技术干货供大家阅读，关注即可免费领取整套Python入门到进阶的学习资料以及教程，感兴趣的小伙伴赶紧行动起来吧。