python-在try / except块中串联数据帧

我正在尝试从API中提取数据,如果成功,则将结果串联到一个大数据框中.这是代码示例

df = pd.DataFrame()
year = 2000
while year < 2018:
    sqft = 1000
    while sqft < 1500:
        #will include buildHttp code if helpful to this problem
        http = buildHttp(sqft,year)
        try:
            tempDf = pd.read_csv(http)
        except:
            print("No properties matching year or sqft")
            sqft = sqft + 11
        else:
            pd.concat([df,pd.read_csv(http)],ignore_index = True)
            sqft = sqft + 11
    year = year + 1

buildHttp是一个构建字符串的函数,我可以将其传递给API来尝试提取数据.我们不能保证某个物业已经以给定的平方英尺或在给定的年份出售,如果是的话,将抛出EmptyDataFrame错误.我有一些关于year和sqft的测试用例,它们没有引发错误,并且可以确认buildHttp确实构建了适当的http,从而pd.read_csv(http)成功提取了数据.完成后,只有成功提取的数据帧不会出现在df中.我要正确组合这些数据帧吗？

最佳答案

两件事情.

第一,您没有将串联结果分配给变量.你要

df = pd.concat([df,ignore_index = True)

其次,构造数据帧并进行串联是昂贵的.您可以通过仅构建一次框架,然后在最后进行一次串联来加快代码的速度.

frames = list()
year = 2000
while year < 2018:
    sqft = 1000
    while sqft < 1500:
        #will include buildHttp code if helpful to this problem
        http = buildHttp(sqft,year)
        try:
            df = pd.read_csv(http)
        except:
            print("No properties matching year or sqft")
        else:
            frames.append(df)
        finally:
            sqft = sqft + 11
   year = year + 1
df = pd.concat(frames,ignore_index=True)