我创建了从 AWS S3 到 Google BigQuery 的 BigQuery 传输。它失败并出现以下错误,
未找到与“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”匹配的新文件
但是,数据已成功从 S3 移动到 Google Cloud
将数据从 Amazon S3 移动到 Google Cloud 已完成:已移动 10 对象。
我还在 BigQuery 数据集中创建了一个表
请帮我解决这个问题
我之前也遇到过同样的问题,并且仅当我在 Amazon S3 URI 之后添加“*”时才适用。
示例:
之前(显示与您相同的错误): s3://mybucket/路径/
之后(工作成功): s3://mybucket/路径/*
在 Amazon S3 传输页面的一般问题部分中,显示以下建议的操作:
确认传输配置中的 Amazon S3 URI 正确。
如果传输配置是为了加载所有文件 公共前缀,请确保 Amazon S3 URI 以通配符结尾。为了 例如,要加载 s3://my-bucket/my-folder/ 中的所有文件,Amazon S3 传输配置中的 URI 必须为 s3://my-bucket/my-folder/*, 不仅仅是 s3://my-bucket/my-folder/。
我发现了类似的错误 Amazon S3 传输 一般问题:
文件从 Amazon S3 传输,但未加载到 BigQuery 中。这 传输日志可能看起来与此类似:
将数据从 Amazon S3 移动到 Google Cloud 已完成:已移动 对象。没有找到匹配的新文件。
确认传输配置中的 Amazon S3 URI 为 正确。
如果传输配置是为了加载所有文件 公共前缀,请确保 Amazon S3 URI 以通配符结尾。为了 例如,要加载 s3://my-bucket/my-folder/ 中的所有文件,Amazon S3 传输配置中的 URI 必须为 s3://my-bucket/my-folder/*, 不仅仅是 s3://my-bucket/my-folder/。
“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”应该是 Amazon S3 URI 吗:s3://
解决方案 亚马逊 S3 URI = s3://存储桶/文件夹/子文件夹/*
我也有同样的问题
问题是,当我们传递“s3/bucket/folder/file.csv”等文件的路径 S3 uri 并给出目标表名称时,它会将该文件的数据插入到该目标表中。
但是当我们传递像“s3/bucket/folder/sub-folder”这样的文件夹的路径 S3 uri 时 它可以包含多个文件,因此无法找到所有这些文件的目标位置。因此解决方案很简单,只需在 URI 路径中添加“*”作为后缀,以便将所有这些文件数据分组到 GCP 云日志中,并将其推送到一个目标表中。
解决方案 亚马逊 S3 URI = s3://存储桶/文件夹/子文件夹/*