运行WordcCount示例DataFlow Runner

问题描述

我将在DataFlow Runner上执行我的Wordcount项目，我使用Beam文档中的命令，但出现此错误：

auth: {
  user: "[e-mail]",pass: "password",},from: [e-mail],

我无法解决此问题，我在执行命令之前已遵循所有步骤，但最终无法运行。 ############################################### ############################################ ############################################### #######################################

解决方法

通过遵循Dataflow中的documentation，尝试在新文件夹或空文件夹中重现Wordcount项目。

首先，您必须通过在GCP Shell中运行mvn archetype:generate command来创建一个包含Apache Beam SDK的WordCount的Maven项目。

mvn archetype:generate \
      -DarchetypeGroupId=org.apache.beam \
      -DarchetypeArtifactId=beam-sdks-java-maven-archetypes-examples \
      -DarchetypeVersion=2.23.0 \
      -DgroupId=org.example \
      -DartifactId=word-count-beam \
      -Dversion="0.1" \
      -Dpackage=org.apache.beam.examples \
      -DinteractiveMode=false

命令运行后，转到名为word-count-beam的新目录，该目录已经包含pom.xml文件。最后，使用以下命令在数据流服务上build and run进行字数统计：

mvn -Pdataflow-runner compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount -Dexec.args="--project=<PROJECT_ID> \
      --gcpTempLocation=gs://<BUCKET_NAME>/tmp/ \
      --stagingLocation=gs://<BUCKET_NAME>/staging/ \
      --output=gs://<BUCKET_NAME>/output \
      --runner=DataflowRunner \
      --inputFile=gs://<BUCKET_NAME>/test.txt \
      --region=us-west1"

您可以在dataflow和bucket storage中验证结果