问题描述
我在实时系统中遇到了一个奇怪的问题。阶段 gcp 项目中的测试未显示此错误/行为。
问题：在 k8 引擎中托管的气流中使用 PubSubPullOperator，无法提取超过 10 或 20 有时 400 有时 0 的任何消息。我玩过 max_mesages 但似乎没有帮助。由于从我的操作员那里提取的数据较少，我倾向于看到我的队列很容易增加到 10k、20k，但我的操作员只提取很少的消息。这很烦人，我必须将我的设计完全更改为 https://cloud.google.com/pubsub/docs/pull
我确定我不是唯一面临这个问题的人，可能会有一些解决办法。
Airflow 的原因：我想每 15 分钟用这些数据刷新一次仪表板，所以我决定使用流数据 + 批量加载。所以排除了 Dataflow 和云功能（也要记住成本）。
设计：
在阅读 PubSubPullSensor 时，我知道传感器至少会等待 1 条消息，但没有提到超时。我无法使用传感器，因为目前所有 8 个订阅都在并行运行并创建一个用于加载的文件。使用传感器，如果任何订阅没有收到消息，整个 dag 将卡住并永远运行！
正在寻找一些与气流相关的解决方案并提前致谢！
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）