use ValueProvider to format a BigQuery in Dataflow(使用ValueProvider格式化数据流中的BigQuery)
问题描述
我当前正在使用Dataflow在Python中执行循环批处理。
基本上我从BigQuery读取数据并在其上执行操作。我的管道如下所示
我希望使用数据流模板运行作业,以使其适应运行时。
多亏了文档https://cloud.google.com/dataflow/docs/guides/templates/creating-templates,即函数部分中的Using ValueProvider,我成功地使用Pardo在运行时为"do_ome_Stuff"提供了一个额外的参数。
但我还希望更改进程关注的用户数,因此我希望使查询适应运行时。
.这不起作用,因为我在管道执行之前调用了get()。到目前为止,我还没有成功地将我对do_ome_Stuff函数所做的修改修改为"Read"行
任何关于如何进行的建议或解决方案都将不胜感激。谢谢!
推荐答案
遗憾的是,BigQuerySource
不支持值提供程序。这是因为它是在数据流运行器中本机实现的,因此所有信息都需要在管道构造时可用。
您可以尝试转换apache_beam.io.gcp.bigquery.ReadFromBigQuery
-这将允许您使用值提供程序。
这篇关于使用ValueProvider格式化数据流中的BigQuery的文章就介绍到这了,希望我们推荐的答案对大家有所帮助,也希望大家多多支持编程学习网!