Skip to main content
 Web开发网 » 编程语言 » Python语言

看几段爬虫代码,详解Python多线程、多进程、协程

2021年11月28日2360百度已收录

编程派”,选择设为“”

优质文章,第一时间送达!

看几段爬虫代码,详解Python多线程、多进程、协程  python多线程 第1张

一、前言

很多时候我们写了一个爬虫,实现了需求后会发现了很多值得改进的地方,其中很重要的一点就是爬取速度。本文就通过代码讲解如何使用多进程、多线程、协程来提升爬取速度。注意:我们不深入介绍理论和原理,一切都在代码中。

二、同步

首先我们写一个简化的爬虫,对各个功能细分,有意识进行函数式编程。下面代码的目的是访问300次百度页面并返回状态码,其中parse_1函数可以设定循环次数,每次循环将当前循环数(从0开始)和url传入parse_2函数。

import requestsdef parse_1:url = '时必然会引起等待

示例代码就是典型的串行逻辑,parse_1将url和循环数传递给parse_2,parse_2请求并返回状态码后parse_1继续迭代一次,重复之前步骤

三、多线程

因为CPU在执行程序时每个时间刻度上只会存在一个线程,因此多线程实际上提高了进程的使用率从而提高了CPU的使用率

实现多线程的库有很多,这里用concurrent.futures中的ThreadPoolExecutor来演示。介绍ThreadPoolExecutor库是因为它相比其他库代码更简洁

为了方便说明问题,下面代码中如果是新增加的部分,代码行前会加上 > 符号便于观察说明问题,实际运行需要去掉

import requests> from concurrent.futures import ThreadPoolExecutordef parse_1:url = '跟同步相对的就是异步。异步就是彼此独立,在等待某事件的过程中继续做自己的事,不需要等待这一事件完成后再工作。线程就是实现异步的一个方式,也就是说多线程是异步处理异步就意味着不知道处理结果,有时候我们需要了解处理结果,就可以采用回调

import requestsfrom concurrent.futures import ThreadPoolExecutor# 增加回调函数> def callback(future):> print(future.result)def parse_1:url = '密集型的任务依旧很合适。

四、多进程

多进程用两个方法实现:ProcessPoolExecutor和multiprocessing

1. ProcessPoolExecutor和实现多线程的ThreadPoolExecutor类似

import requests> from concurrent.futures import ProcessPoolExecutordef parse_1:url = '可以看到改动了两次类名,代码依旧很简洁,同理也可以添加回调函数

import requestsfrom concurrent.futures import ProcessPoolExecutor> def callback(future):> print(future.result)def parse_1:url = '

2. multiprocessing直接看代码,一切都在注释中。

import requests> from multiprocessing import Pooldef parse_1:url = '阻塞会出现线程或者进程的浪费,因此有一个更好的方法……

五、异步非阻塞

协程+回调配合动态协作就可以达到异步非阻塞的目的,本质只用了一个线程,所以很大程度利用了资源

实现异步非阻塞经典是利用asyncio库+yield,为了方便利用逐渐出现了更上层的封装 aio是一个非常方便实现协程的库

import requests> from gevent import monkey# 猴子补丁是协作运行的灵魂> monkey.patch_all> import geventdef parse_1:url = '类,下面代码改动较大

import requestsfrom gevent import monkeymonkey.patch_allimport gevent> from gevent.queue import Queuedef parse_1:url = '结束语

以上就是几种常用的加速方法。如果对代码测试感兴趣可以利用time模块判断运行时间。爬虫的加速是重要技能,但适当控制速度也是爬虫工作者的良好习惯,不要给服务器太大压力,拜拜~

早起Python原创作者:陈熹

回复下方「关键词」,获取优质资源

回复关键词「 pybook03」,立即获取主页君与小伙伴一起翻译的《Think Python 2e》电子版

回复关键词「入门资料」,立即获取主页君整理的 10 本 Python 入门书的电子版

回复关键词「m」,立即获取Python精选优质文章合集

回复关键词「」,将数字替换成 0 及以上数字,有惊喜好礼哦~

题图:pexels,CC0 授权。

看几段爬虫代码,详解Python多线程、多进程、协程  python多线程 第2张

好文章,我在看❤️

评论列表暂无评论
发表评论
微信