如何使用spark-cassandra-connector将数据集写入Cassandra表中？

Question

我正在尝试将结构化蒸汽数据集保存到给定的Cassandra表中。

我正在使用datastax cassandra连接器版本spark-cassandra-connector_2-11.jar

虽然我尝试像下面那样保存数据集

dataSet
    .writeStream()
    .format("org.apache.spark.sql.cassandra")
    .option("table",table)
    .option("keyspace", keyspace)
    .outputMode("append")
    .start();

抛出错误：

数据源org.apache.spark.sql.cassandra不支持流写作

应该做什么以及如何处理？

Answer 1

有几种选择：

1. [使用Spark Cassandra Connector（SCC）版本2.x，Spark <2.4和OSS Cassandra，唯一的选择是实现自定义forEach操作，例如done here；
2. [使用Spark Cassandra Connector版本2.x，Spark> = 2.4和OSS Cassandra，我们可以将forEachBatch与正常的写入操作一起使用，例如here;
3. 对于DSE，我们只能使用data.writeStream().format("org.apache.spark.sql.cassandra")，因为DSE Analytics具有自定义SCC；
4. [从SCC 3.0（当前为Alpha版本开始），还针对OSS Cassandra打开了DSE特定的功能，因此我们可以像shown in the docs一样将其用于DSE。

Answer 2

有几种选择：

1. [使用Spark Cassandra Connector（SCC）版本2.x，Spark <2.4和OSS Cassandra，唯一的选择是实现自定义forEach操作，例如done here；
2. [使用Spark Cassandra Connector版本2.x，Spark> = 2.4和OSS Cassandra，我们可以将forEachBatch与正常的写入操作一起使用，例如here;
3. 对于DSE，我们只能使用data.writeStream().format("org.apache.spark.sql.cassandra")，因为DSE Analytics具有自定义SCC；
4. [从SCC 3.0（当前为Alpha版本开始），还针对OSS Cassandra打开了DSE特定的功能，因此我们可以像shown in the docs一样将其用于DSE。