modin pandas read_parquet() 在 ETag KeyError 上失败，尝试从 s3

编程问答 2022-04-23

问题描述

我从 Pandas 创建了一个数据框，并使用 to_parquet(...) 直接写入 s3。

参数是：

df.to_parquet('s3://bucket/fn.parquet',compression='gzip',engine='fastparquet',partition_cols=['col1'])

当我使用 pandas 的 pandas.read_parquet(url) 时，数据框加载良好。

但是当我使用 modin.pandas.read_parquet(url) 时，出现以下错误：

 File "/home/mguo/anaconda3/envs/testenv/lib/python3.7/site-packages/s3fs/core.py",line 1779,in __init__
    self.req_kw["IfMatch"] = self.details["ETag"]
KeyError: 'ETag'

以下是我的版本：

python==3.7.3
pandas==1.2.4
modin==0.10.0
s3fs==2021.6.0

解决方法

在 Modin 存储库中创建了一个问题 #3185。请在那里跟踪进度。

amazon-s3dataframemodinparquetpython