DataflowRunner退出,显示“未找到要暂存的文件。”

问题描述 投票:0回答:1

我想从WordCount运行https://beam.apache.org/get-started/quickstart-java/ java示例,但是以某种方式我得到一个错误,即ClasspathScanningResourcesDetector找不到要暂存的文件。我完全按照网站上的描述运行示例:

 mvn compile exec:java -Dexec.mainClass=org.apache.beam.examples.WordCount \
     -Dexec.args="--runner=DataflowRunner --project=<your-gcp-project> \
                  --gcpTempLocation=gs://<your-gcs-bucket>/tmp \
                  --inputFile=gs://apache-beam-samples/shakespeare/* --output=gs://<your-gcs-bucket>/counts" \
     -Pdataflow-runner

,产生]

Caused by: java.lang.reflect.InvocationTargetException
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at java.base/jdk.internal.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    at java.base/jdk.internal.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.base/java.lang.reflect.Method.invoke(Method.java:566)
    at org.apache.beam.sdk.util.InstanceBuilder.buildFromMethod(InstanceBuilder.java:214)
    ... 5 more
Caused by: java.lang.IllegalArgumentException: No files to stage has been found.
    at org.apache.beam.runners.dataflow.DataflowRunner.fromOptions(DataflowRunner.java:281)
    ... 10 more

我正在使用最新的光束版本

<beam.version>2.19.0</beam.version>

您知道如何解决此问题吗?

我想从https://beam.apache.org/get-started/quickstart-java/运行WordCount Java示例,但是不知何故我收到了一个错误,发现...没有找到要暂存的文件...] >

google-cloud-dataflow
1个回答
0
投票
  • 当您运行数据流时,它将尝试查找并上传依赖性。
  • 我假设您收到错误消息“暂无文件被发现”由于某些类路径问题。
© www.soinside.com 2019 - 2024. All rights reserved.