AWS Glue - getSink() 在glue_context.purge_s3_path 之后抛出“没有这样的文件或目录”

问题描述

我正在尝试清除胶水目录表的分区，然后使用 getSink 选项重新创建分区（类似于在数据库中截断/加载分区） 为了清除分区，我使用了保留期 = 0 的glueContext.purge_s3_path 选项。分区已成功清除。

            self._s3_path=s3://server1/main/transform/Account/local_segment/source_system=SAP/
            self._glue_context.purge_s3_path(
            self._s3_path,{"retentionPeriod": 0,"excludeStorageClasses": ()}
                )

这里 Catalog database = Account,Table = local_segment,Partition_key = source_system

但是，当我尝试在清除步骤后立即重新创建分区时，我收到来自 getSink writeFrame 的“调用 o180.pyWriteDynamicFrame 时发生错误。没有这样的文件或目录”。 如果我删除了清除部分，那么 getSink 工作正常并且能够创建分区并写入文件。

我什至在清除和 getSink 之间尝试过“MSCK REPAIR TABLE”，但没有成功。

如果不存在（即从上一步中清除），是否应该 getSink 创建分区？

       target = self._glue_context.getSink(
            connection_type="s3",path=self._s3_path_prefix,enableupdateCatalog=True,updateBehavior="UPDATE_IN_DATABASE",partitionKeys=["source_system"]
        )
        target.setFormat("glueparquet")
        target.setCatalogInfo(
            catalogDatabase=f"{self._target_database}",catalogTableName=f"{self._target_table_name}"
        )
        target.writeFrame(self._dyn_frame)
        
        Where - 
        self._s3_path_prefix = s3://server1/main/transform/Account/local_segment/
        self._target_database = Account
        self._target_table_name = local_segment

错误信息：

调用 o180.pyWriteDynamicFrame 时出错。没有这样的文件或目录 's3://server1/main/transform/Account/local_segment/source_system=SAP/run-1620405230597-part-block-0-0-r-00000-snappy.parquet'

解决方法

尝试检查您是否在 s3 上拥有此对象的权限。我遇到了同样的错误，一旦我将对象配置为公开（仅用于测试），它就起作用了。因此，它可能是一个新对象，而您的进程可能无权访问。