问题描述
我今天必须创建一个新的Composer环境,但是我发现无法更新PyPI软件包:
尽管出现错误消息,但实际上创建Web服务器成功。该服务器正在运行,并且在网页上可见一个“ airflow_monitoring” DAG。在运行以下命令之前,不会发生该错误:
gcloud composer environments update my-env --location my-location --update-pypi-packages-from-file requirements.txt
我注意到的另一件事是Google放弃了对composer-1.12.0-airflow-1.10.3的支持,迫使我改用composer-1.12.2-airflow-1.10.6。当我在Airflow 1.10.6上本地运行时,PyPI似乎成功了,因此这似乎不是问题所在,除了以前的部署工作没有问题,并且其他都没有改变。我只需要一个新的环境,因为Composer不允许您将网络标签添加到已经存在的环境中。
我偶然发现与pip install -r requirements.txt
命令关联的gcloud composer environments update ...
发生在Google Cloud Build中。我确认过程的这一部分是成功的。
Web服务器日志除了Airflow加载DAG文件和填充DagBags之外什么都没有显示,所以关于出问题的零信息。
除了部署一堆VM实例以便可以手动运行Airflow之外,我还能从哪里去?
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)