MWAA:无法从 requirements.txt

问题描述

我正在尝试建立一个集成 S3 和 GCP 的 Pub/Sub 的 MWAA Airflow 2.0 环境。虽然我们在初始化环境方面没有问题,但我们在安装一些依赖项和导入 Python 包时遇到了问题——特别是 apache-airflow-providers-google==2.2.0

我们已按照 official MWAA Python documentation 的所有说明进行操作。我们已经按照 AWS 的规定包含了 constraints file,激活了所有 Airflow 日志记录配置,并使用 MWAA local runner 测试了 requirements.txt 文件The result when updating our MWAA environment's requirements would always be like this

在使用 MWAA local runner 进行测试时,我们观察到使用带有约束的 requirements.txt 文件仍然需要很长时间才能解决Installation takes more than 10-30 minutes which is no good

作为一项实验,我们尝试使用一个省略约束和固定版本控制的 requirements.txt 文件版本。这样做会成功安装软件包,并且我们不会再在 MWAA 本地运行器和我们的 MWAA 环境本身上收到导入错误However,all of our dags will fail to run no matter what. Airflow logs are also inaccessible whenever we do this

我和团队一直在尝试为我们的不同应用程序和 ETL 管道启动和运行 MWAA 环境,但我们似乎无法让事情顺利进行。任何帮助将不胜感激!

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)