Python小爬虫之协程爬虫快速上手

百科知识2025-04-272

文章目录

前言
协程

协程快速上手
协程异步运行
工作流程
任务管理

aiohttp

异步保存
异步回调

前言

爬虫是个好东西,最近要用用这玩意,所以顺便把以前的小东西给发出来,水几篇博客~

协程

首先明确一点,线程不是多线程,线程本质上还是单线程,但是这个线程的特点是当当前线程进入到IO状态的时候,CPU会自动切换任务从而提高系统的整体运行效率。没错这个协程其实就和操作系统的多道处理机制是一样的。实现的效果有点类似使用多线程,或者线程池,但是协程是更加轻量级的,本质上就是一个单线程在来回切换。

协程快速上手

那么接下来我们先来体会一下这个协程的功效。 在python里面使用协程,也就是异步,我们需要掌握两个关键字,await 和 async。当然还有一个支持协程的库,asyncio。 我们先来看看代码。

import asyncio
import time

协程函数

async def