问题描述
我的计算机上有30个csv风速数据文件-每个文件代表不同位置的数据。我已经编写了代码来计算每个站点需要运行的统计信息;但是,我目前正在分别拉入每个csv文件(请参见下面的代码):
from google.colab import files
data_to_load = files.upload()
import io
df = pd.read_csv(io.BytesIO(data_to_load['Downtown.csv']))
是否可以一次提取全部30个csv文件,以便每个文件都通过我的统计分析代码块运行并吐出一个包含文件名和统计信息的数组?
解决方法
使用循环
import glob
import pandas as pd
# get data file names
local_path = r'/my_files'
filenames = glob.glob(path + "/*.csv")
dfs = [pd.read_csv(filename)) for filename in filenames]
# if needed concatenate all data into one DataFrame
big_frame = pd.concat(dfs,ignore_index=True)
您还可以尝试将数据在线存储:github或google驱动器并从那里读取 https://towardsdatascience.com/3-ways-to-load-csv-files-into-colab-7c14fcbdcb92