熊猫read_csv并不总是获得s3上对象的最新版本

问题描述

我在S3上有一个csv文件,该文件是通过read_csv命令获得的。该对象每10秒更新一次,并且始终保持相同的名称(相同的键)。 我注意到在极少数情况下,命令read_csv返回的版本倒数第二个……

我注意到在不断变化的文件名上使用此命令的行为类似。这是s3fs的缓存问题。然后,该命令向我返回了错误FileNotFoundError ...然后在重新运行fs.invalidate_cache(path=None)之前启动了read_csv,一切正常……

但是如何避免这种行为来检索s3上始终保持相同名称的CSV文件的最新版本?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)