Python retrying 重试机制的使用方法

我们在程序开发中,经常会需要请求一些外部的接口资源,而且我们不能保证每次请求一定会成功,所以这些涉及到网络请求的代码片段就需要加上重试机制。本文就来详细的介绍一下,感兴趣的可以了解一下

目录

循环加判断

retrying

我们在程序开发中,经常会需要请求一些外部的接口资源,而且我们不能保证每次请求一定会成功,所以这些涉及到网络请求的代码片段就需要加上重试机制。下面来说一下Python中的重试方法

循环加判断

最简单的重试方式就是在需要进行重试的代码片段上加一个循环,程序内捕获异常,如果执行成功就退出循环,执行失败就就重复执行相关代码,例如:import requests def req_with_retry(url): retry_max = 10 # 最大重试次数为10次 for i in range(1, retry_max+1): try: print("第{}次请求".format(i)) # 这里请求不到会抛ConnectTimeout异常 res = requests.get(url, timeout=1) data = res.json() print("请求成功:", data) break except requests.exceptions.ConnectTimeout as e: continue # 请求一个不存在的网址 req_with_retry(https://www.hahaha.cn/haha)执行结果:

由于请求了一个不存在的网址,所以一直在重试,知道达到最大次数10次。但是这样有一定的代码侵入性,在业务逻辑上加入循环判断显得很不美观,别着急,往下看,还有更好的方法

retrying

retrying是Python的一个第三方库,它提供一个装饰器函数retry,被装饰的业务函数就会在运行失败的条件下重新执行,认只要报错就会一直重试,直至执行成功。

可以使用pip install retrying进行安装。

例如下面一段代码,我们使用生成随机数的大小的方式模拟业务的成功与失败,只要是生成随机数大于2,都视为失败,就会重试,直到生成随机数小于2:

import random from retrying import retry @retry def random_with_retry(): if random.randint(0, 10) > 2: print("大于2,重试...") raise Exception("大于2") print("小于2,成功!") random_with_retry()

运行结果如下:

retry还可以接受一些参数,下面是源码中retrying类的初始化函数中可选的参数:

stop_max_attempt_number:最大重试次数,超过该次数就停止重试

stop_max_delay:最大延迟时间(执行这个方法重试的总时间),超过该时间就停止

wait_fixed:两次retrying间的等待时间

wait_random_min和wait_random_max:用随机的方式产生两次retrying间的等待时间

wait_incrementing_start和wait_incrementing_increment:每调用一次增加固定时长

wait_exponential_multiplier和wait_exponential_max:以指数的形式产生两次retrying间的等待时间,产生的值为2^prevIoUs_attempt_number * wait_exponential_multiplier,prevIoUs_attempt_number是前面已经retry的次数,如果产生的这个值超过了wait_exponential_max的大小,那么之后两个retrying间的停留值都为wait_exponential_max。

特别需要注意的是retry_on_exception参数,它接收一个函数用法如下:

# 判断异常 def is_MyError(exception): print("判断异常", exception) print(isinstance(exception, (ValueError, IOError, ConnectionError))) return isinstance(exception, (ValueError, IOError, ConnectionError)) @retry(retry_on_exception=is_MyError) def random_with_retry(): """ 随机一个0-10之前的整数,大于2抛异常,小于2成功 :return: """ if random.randint(0, 10) > 2: print("大于2,重试...") raise ValueError("大于2") print("小于2,成功!") random_with_retry()

这里retry_on_exception参数的大体思想是:接收一个自定义函数is_MyError,在is_MyError函数里判断了是不是属于ValueError, IOError, ConnectionError这三种异常;random_with_retry()函数如果抛出了异常,会去函数is_MyError()判断返回的是True还是False,如果是True则继续重试,如果是False则立即停止并抛出异常。

还有retry_on_result参数,也是接收一个函数,判断业务函数返回哪些结果时需要重试,思想和retry_on_exception参数类似。

我们可以根据自己的需要进行合理的搭配这些参数,达到我们想要的效果

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...