您可以在“尝试/例外”中重试/循环吗？

问题描述

我试图了解是否可以在Try / Except调用中设置循环，或者是否需要重组以使用函数。长话短说，花了几个小时学习Python和BeautifulSoup之后，我设法将一些代码放在一起，以抓取URL列表，将数据提取为CSV（现在将其更新为MySQL db）。该代码现在按计划工作，除了我偶尔遇到10054，要么是因为我的VPN打VPN，要么是源主机服务器偶尔使我跳动（我的循环有30秒的延迟，但有时还是会踢我）。

我大致了解了Try / Except结构，但是我不确定如何（或者如果可以）在其内部循环以再次尝试。我的基本代码用于获取URL，清理并解析我需要的表，如下所示：

for url in contents:
    print('Processing record',(num+1),'of',len(contents))
    if url:
        print('Retrieving data from ',url[0])
        html = requests.get(url[0]).text
        soup = BeautifulSoup(html,'html.parser')
        for span in soup('span'):
            span.decompose()
       trs = soup.select('div#collapseOne tr')
        if trs:
            print('Processing')
            for t in trs:
                for header,value in zip(t.select('td')[0],t.select('td:nth-child(2)')):
                    if num == 0:
                        headers.append(' '.join(header.split()))    
                    values.append(re.sub(' +',' ',value.get_text(' ',strip=True)))  

之后，仅将数据处理为CSV并运行更新sql语句。

我想做的是，如果HTML请求调用失败，请等待30秒，然后重试该请求，然后进行处理，或者如果重试失败X次，请继续并退出脚本（假设点我有一个完整的连接失败）。

是否可以在线执行类似的操作，还是需要将request语句变成一个函数并设置一个循环来调用它？必须承认，我还不熟悉Python如何与函数返回一起工作。

解决方法

我自己做了一个小例子来对此进行图形化，是的，您可以将循环放在try/except块中。

from sys import exit


def example_func():
    try:
        while True:
            num = input("> ")
            try:
                int(num)
                if num == "10":
                    print("Let's go!")
                else:
                    print("Not 10")
            except ValueError:
                exit(0)
    except:
        exit(0)


example_func()

这是一个非常简单的程序，需要输入，如果输入为10，则显示“ Let's go！”，否则它告诉您它不是10（如果它不是有效值，则将您踢出）。 >

请注意，在while循环中，我考虑了必要的缩进，放置了try/except块。您可以将此程序作为模型，并以自己的喜好使用。

,

您可以为重试添加一个内部循环，然后在其中放入try / except块。这是它的外观草图。您可以将所有这些内容放入函数中，然后将该函数调用放入其自己的try / except块中，以捕获导致循环退出的其他错误。

从requests exception hierarchy看，超时涵盖了多个可恢复的异常，对于您可能想捕获的所有内容都是一个很好的开始。像SSLError这样的其他事情不会因为您重试而变得更好，因此请跳过它们。您可以浏览列表以查看最适合您的情况。

import itertools

# requests exceptions at 
# https://requests.readthedocs.io/en/master/_modules/requests/exceptions/
    
for url in contents:
    print('Processing record',(num+1),'of',len(contents))
    if url:
        print('Retrieving data from ',url[0])
        retry_count = itertools.count()
        # loop for retries
        while True:
            try:
                # get with timeout and convert http errors to exceptions
                resp = requests.get(url[0],timeout=10)
                resp.raise_for_status()
            # the things you want to recover from
            except requests.Timeout as e:
                if next(retry_count) <= 5:
                    print("timeout,wait and retry:",e)
                    time.sleep(30)
                    continue
                else:
                    print("timeout,exiting")
                    raise # reraise exception to exit
            except Exception as e:
                print("unrecoverable error",e)
                raise
            break

        html = resp.text
        etc…