BigQuery Transfer Service 不会从 S3 复制行

问题描述 投票:0回答:3

我创建了从 AWS S3 到 Google BigQuery 的 BigQuery 传输。它失败并出现以下错误,

未找到与“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”匹配的新文件

但是,数据已成功从 S3 移动到 Google Cloud

将数据从 Amazon S3 移动到 Google Cloud 已完成:已移动 10 对象。

我还在 BigQuery 数据集中创建了一个表

请帮我解决这个问题

amazon-web-services amazon-s3 google-cloud-platform google-bigquery data-transfer
3个回答
3
投票

我之前也遇到过同样的问题,并且仅当我在 Amazon S3 URI 之后添加“*”时才适用。

示例:

之前(显示与您相同的错误): s3://mybucket/路径/

之后(工作成功): s3://mybucket/路径/*

在 Amazon S3 传输页面的一般问题部分中,显示以下建议的操作:

确认传输配置中的 Amazon S3 URI 正确。

如果传输配置是为了加载所有文件 公共前缀,请确保 Amazon S3 URI 以通配符结尾。为了 例如,要加载 s3://my-bucket/my-folder/ 中的所有文件,Amazon S3 传输配置中的 URI 必须为 s3://my-bucket/my-folder/*, 不仅仅是 s3://my-bucket/my-folder/。


0
投票

我发现了类似的错误 Amazon S3 传输 一般问题

文件从 Amazon S3 传输,但未加载到 BigQuery 中。这 传输日志可能看起来与此类似:

将数据从 Amazon S3 移动到 Google Cloud 已完成:已移动 对象。没有找到匹配的新文件。

确认传输配置中的 Amazon S3 URI 为 正确。

如果传输配置是为了加载所有文件 公共前缀,请确保 Amazon S3 URI 以通配符结尾。为了 例如,要加载 s3://my-bucket/my-folder/ 中的所有文件,Amazon S3 传输配置中的 URI 必须为 s3://my-bucket/my-folder/*, 不仅仅是 s3://my-bucket/my-folder/。

“gs://bqdts-amazon_s3-prod-eu-w5jetqct8ohvcjih85apf7gvkbibvbkcj9o6l67/test/files”应该是 Amazon S3 URI 吗:s3://


0
投票

解决方案 亚马逊 S3 URI = s3://存储桶/文件夹/子文件夹/*

我也有同样的问题

问题是,当我们传递“s3/bucket/folder/file.csv”等文件的路径 S3 uri 并给出目标表名称时,它会将该文件的数据插入到该目标表中。

但是当我们传递像“s3/bucket/folder/sub-folder”这样的文件夹的路径 S3 uri 时 它可以包含多个文件,因此无法找到所有这些文件的目标位置。因此解决方案很简单,只需在 URI 路径中添加“*”作为后缀,以便将所有这些文件数据分组到 GCP 云日志中,并将其推送到一个目标表中。

解决方案 亚马逊 S3 URI = s3://存储桶/文件夹/子文件夹/*

© www.soinside.com 2019 - 2024. All rights reserved.