Apache Beam - 从目录中读取所有文件

Question

我有一个数据流管道，我使用下面的AvroIO方法读取具有已知模式的特定avro文件。

但是，我想在管道中递归地读取与文件扩展名模式匹配的目录中的所有文件，而不是读取单个文件..需要一些帮助

pipeline.apply("Read from Avro",
 AvroIO.readGenericRecords(schema).from("gcs://test/test.avro")

Answer 1

正如@Kolban建议的那样，“from（）”接受通配符，正如this line在源代码中所暗示的那样。