如何在 Spark 和 Cassandra 中将数据从较小的表映射到较大的表? (第一个表的主键是第二个表的分区键)

问题描述 投票:0回答:1

这是我的表 1:

case class Table1(
    key1: String // (primary key),
    value1: String
)

表2:

case class Table2(
    key1: String // (partition key)
    key2: String // (primary key)
    value1: String
)

我需要将表 1 中的 value1 复制到表 2 中分区的所有行(与表 1 中的 key1 匹配)。

我的代码:

val table2 = table1.map(
    s => {
        .... // Here code
    }
)
table2.saveToCassandra("keyspaceName", "table2", SomeColumns("
apache-spark cassandra rdd datastax-enterprise spark-cassandra-connector
1个回答
1
投票

这是一个带有链接的答案,但它被版主删除了……

© www.soinside.com 2019 - 2024. All rights reserved.