您如何收集有关Google Composer为什么无法安装PyPI软件包的所有信息?

问题描述

我今天必须创建一个新的Composer环境,但是我发现无法更新PyPI软件包:

Failed to create a web server in new version. Check the airflow-webserver logs for details.

尽管出现错误消息,但实际上创建Web服务器成功。该服务器正在运行,并且在网页上可见一个“ airflow_monitoring” DAG。在运行以下命令之前,不会发生该错误

gcloud composer environments update my-env --location my-location --update-pypi-packages-from-file requirements.txt

我注意到的另一件事是Google放弃了对composer-1.12.0-airflow-1.10.3的支持,迫使我改用composer-1.12.2-airflow-1.10.6。当我在Airflow 1.10.6上本地运行时,PyPI似乎成功了,因此这似乎不是问题所在,除了以前的部署工作没有问题,并且其他都没有改变。我只需要一个新的环境,因为Composer不允许您将网络标签添加到已经存在的环境中。

我偶然发现与pip install -r requirements.txt命令关联的gcloud composer environments update ...发生在Google Cloud Build中。我确认过程的这一部分是成功的。

Web服务器日志除了Airflow加载DAG文件和填充DagBags之外什么都没有显示,所以关于出问题的零信息。

除了部署一堆VM实例以便可以手动运行Airflow之外,我还能从哪里去?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其...
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。...
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbc...