执行时间过长后数据流作业失败

问题描述

我在 Go 中运行一个基本的管道，只是一个读和写，在执行 1 小时后，它失败了。作业在 google 数据流服务上成功创建，然后失败。

go run pipeline.go \
--input gs://beam-in/raw.txt \
--output gs://beam-out/output \
--runner dataflow \
--project my-project-id \
--region us-central1 \
--temp_location gs://beam-out/temp/ \
--staging_location gs://beam-out/binaries/ \
--worker_harness_container_image=apache/beam_go_sdk:latest

 Submitted job: 2021-02-25_13_13_29-1267817619179399940
 Job state: JOB_STATE_PENDING
 Job still running ...
 Job still running ...
 Job still running ...
 ...

pipeline.go

func main() {
    flag.Parse()
    beam.Init()

    if *output == "" {
        log.Fatal("No output provided")
    }

    p := beam.NewPipeline()
    s := p.Root()

    data := textio.Read(s,*input)
    textio.Write(s,*output,data)

    if err := beamx.Run(context.Background(),p); err != nil {
        log.Fatalf("Failed to execute job: %v",err)
    }
}

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

apache-beam dataflow go