Flink-BigTable - 有连接器吗？

Question

我想使用 BigTable 作为 Flink 作业的接收器：

1. 有现成的连接器吗？
2. 我可以使用 Datastream API 吗？
3. 如何以最佳方式传递稀疏对象（稀疏度为 99%），即确保 BigTable 中不会为空值创建键/值？

我已搜索上述主题的文档，但无法回答这些问题。

感谢您的支持！

Answer 1

我不认为 Flink 有原生 BigTable 连接器。

也就是说，您可以使用 Flink HBase SQL Connector 和 BigTable HBase 客户端 从 Flink 访问 BigTable：

Flink job <-> Flink HBase SQL Connector <-> BigTable HBase client <-> BigTable

此连接器似乎与 Cloudera 提出的 Flink HBase 连接器类似，并且可以手动安装（请参阅评论@rsantiago）。

关于稀疏数据持久性的可能方法可以从 Cloudera 的 example 中获取，其中使用

put.addColumn

添加列，以便您可以在该部分中评估它是否为空并丢弃它（请参阅评论 @rsantiago）。

Answer 2

现在有 Flink-Bigtable 连接器 https://github.com/google/flink-connector-gcp/tree/main/connectors/bigtable