使用模板方法的数据流中的动态分片

问题描述

我有一条管道,可以从BigQuery提取数据并使用Apache Beam将数据写入文件。在这里,我使用针对数据流的模板方法。如果我在模板创建过程中在编译时对分片数量进行硬编码,那么一切都很好。但是我要求根据从BigQuery提取的行数来确定运行时分片的数量。例如,如果有超过100万条记录,则将其写入另一个文件。使用模板方法时,这是否可以在Dataflow中实现。我知道如果使用非模板方法(在运行时传递所有参数)会很好。我正在明确寻找模板方法。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)