Dataflow Flex 模板作业已排队

问题描述

我正在尝试重现 this tutorial 以在 Dataflow 上运行 Flex 模板。

当我提交作业时,我可以在控制台中看到它,但它没有启动并标记Queued。这是否意味着作业是在 FlexRS mode 中提交的?提交后如何直接开始工作?

解决方法

Flex 模板作业的“排队”状态意味着您的容器正在 VM 上运行以构建管道并启动作业。如果作业在 Queued 中停留的时间超过几分钟,则表明此过程卡住了。您可以在“作业日志”部分的 Dataflow 界面中查看此 VM 的日志。

,

这看起来像是一个错误,上游依赖项(pyarrow?)开始需要 git 才能构建,但基础映像当前不包含 git。我在这里提交了一个问题:https://issuetracker.google.com/issues/176570473