PubSub BigQuery 订阅问题

问题描述 投票:0回答:1

我已设置 PubSub BigQuery 订阅。我的主题有一个架构,我能够成功写入 BigQuery 表。

我一直在对工作流程进行压力测试,以确保发送到该主题的所有消息都成功写入 BigQuery。我一直在通过 Python/PubSub 客户端库批量处理 500k 消息。我的结果不一致。有时所有 500k 记录都会进入 BigQuery,有时则不会。通常超过 98% 的记录都会被写入。我还有一个附加到该主题的侧订阅,该主题不消耗消息,我用它来简单地验证我发送到该主题的所有消息是否已成功。此侧订阅始终会收到我发送给它的每条消息 - 每次。

此外,我有一个死信主题,其架构与写入 BigQuery 的主题完全相同 - BigQuery 中的“丢失”记录一次也没有出现在死信主题中。

我已尝试调整 BigQuery 订阅中可能的所有设置 - 但仍然看到不一致的结果。

我希望通过该主题的每条记录要么写入 BigQuery,要么最终出现在死信子中。

以前有人遇到过这样的问题吗?我错过了什么?

提前谢谢您。

google-cloud-platform google-bigquery google-cloud-pubsub dead-letter
1个回答
0
投票

对于此类问题,您需要输入支持票证,因为这需要查看您的订阅和表格的后端详细信息。一般来说,Pub/Sub 保证在使用 BigQuery 订阅时,所有与表架构匹配的格式正确的消息都将写入表中。

© www.soinside.com 2019 - 2024. All rights reserved.