部署之后,在使用Requirements_file参数后,python数据流作业不接受来自pubsub订阅的消息

问题描述

在写入大查询之前,我想使用数据流作业来加密来自pubsub订阅的即将到来的消息。我正在使用pycryptodome == 3.9.8,cryptography == 3.1 python库来做到这一点。

在数据流作业中,我正在使用以下两个导入

从加密货币导入

随机 从Crypto.Cipher导入AES

当我尝试不使用--requirements_file参数部署数据流管道时。它可以完美部署,但是在将消息发布到主题之后,它将引发错误

ModuleNotFoundError:没有名为“加密”的模块[在运行“ generatedPtransform-81”时]

之后,我尝试使用--requirements_file required.txt标志再次部署管道。 数据流管道可以部署,但是现在它不接受来自订阅的任何消息。数据流作业没有错误,因为它没有获取消息。

我错过了什么吗?由于没有日志,因此很难识别。

解决方法

通过@ peter-kim重新发布评论作为答案:使用setup.py文件,您应该能够执行所需的操作。参见Dataflow fails when I add requirements.txt [Python]