连接Apache Spark和Cassandra以进行集群查询
PySpark 应用程序的执行程序始终以“state KILLED exitStatus 143”结束
我在运行时遇到问题 火花提交--主火花：//本地主机：7077 \ --packages com.datastax.spark:spark-cassandra-connector_2.12:3.5.1, \ org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.4...
spark 工作人员总是被杀死 exitStatus 143
我在运行时遇到问题 火花提交--主火花：//本地主机：7077 \ --packages com.datastax.spark:spark-cassandra-connector_2.12:3.5.1, \ org.apache.spark:spark-sql-kafka-0-10_2.12:3.5.4...
Pyspark cassandra 连接器 NoclassDefFoundError，util/logging
我下载了spark-cassandra-connector_3.12-3.2.0.jar并放入/apache-spark/3.2.1/libexec/jars文件夹中。 在conf中调用这个jar，如下所示： conf=SparkConf().setAppName("d").setMasetMast...
[从 docker windows 运行的 cassandra] 我正在从 wsl2 运行 Spark Spark-shell --packages com.datastax.spark:spark-cassandra-connector_2.12:3.5.1 [上面命令后的 Spark-shell] ...
我正在尝试注册自定义代码（用于地图），如下所示 val 会话：CqlSession = CassandraConnector.apply(spark.sparkContext).openSession() val codecRegistry：MutableCodecRegistry = 会话。
我尝试使用 Spark Cassandra Connector 在 Cassandra 中的数据之上进行分析，并发现了两种类型的实现。谁能阐明两者之间的区别和优点/
如何在 Spark 和 Cassandra 中将数据从较小的表映射到较大的表？ （第一个表的主键是第二个表的分区键）
所以这是我的表1： 案例类别表1( key1: String //（主键）， 值1：字符串 ） 表2： 案例类别表2( key1: String //（分区键） key2: String //（主键） ...
无法初始化类com.datastax.oss.driver.internal.core.config.typesafe.TypesafeDriverConfig
我正在使用 Azure Databricks 解决方案连接到 Cassandra。我的 Cassandra 实例在某个特定端口公开，可以从 cqlsh 访问。 Cassandra SHOW 版本返回： [cqlsh 6.0.0 |卡桑...
我对如何使用pyspark和cassandra连接器感到非常困惑。有些帖子说这只是使用 pyspark 中的 SparkContext 和 SparkSession 的问题，而其他帖子则说这些不起作用......
错误 SparkContext：无法添加文件 java.io.FileNotFoundException：找不到 Spark 的 Jar
请根据我使用的代码帮助我修复上述错误 proccesing_data.py代码用于使用spark-streaming处理数据 导入日志记录 从 pyspark.sql 导入 SparkSession 来自 pys...
PySpark 与 Cassandra 的连接返回“Py4JJavaError：调用 o54.start 时发生错误”
我尝试在虚拟环境中从Pyspark连接到Cassandra，并且服务是通过docker安装的。我一直在使用 --packages 方法来解决依赖关系，但似乎确实如此......
如何使用Spark DataFrames查询JSON数据列？
我有一个 Cassandra 表，为简单起见，它看起来像： 键：文字 json数据：文本 blob 数据： blob 我可以使用 Spark 和 Spark-cassandra-connector u...
Cassandra 数据库中有许多表，其中包含标题为 user_id 的列。 user_id 中的值指的是用户表中存储的用户。由于有些用户被删除，我想删除
Java.lang.IllegalArgumentException：要求失败：在 Double 中找不到列
我正在 Spark 中工作，我有许多包含行的 csv 文件，一行看起来像这样： 2017,16,16,51,1,1,4,-79.6,-101.90,-98.900 它可以包含更多或更少的字段，具体取决于 csv 文件 埃克...
如何在 Apache Airflow 中将 Spark Submit Operator 与 Cassandra 远程服务器结合使用
我正在将气流引入 WindowsPC 上的 Docker 容器。我对 apache airflow Spark 提交操作符有一些问题。我想将数据写入远程 Cassandra 服务器。 当我使用 df.wr 时...
PySpark 应用程序返回“NoClassDefFoundError：com/datastax/spark/connector/util/Logging”
我遇到了这个错误： py4j.protocol.Py4JJavaError：调用 o59.start 时发生错误。 ：java.lang.NoClassDefFoundError：com/datastax/spark/connector/util/Logging 在 java.base/java.lang.
Spark Cassandra 连接器 3.0.0 - 如何启用 DirectJoin - Java
我有cassandra 3.11.9、spark 3.0.1和spark-cassandra-connector 3.0.0（依赖项）。我正在尝试使用 SCC 3.0.0 的直接连接，但似乎当我在下面的数据集上使用连接时，我得到了
Pyspark cassandra 连接器在写入过程中生成墓碑
我知道在插入数据时，可能会因为数据帧的列中存在空值而创建逻辑删除。为了缓解这个问题并最大限度地减少逻辑删除、插入查询
简单的Python应用程序加载失败，出现“ClassNotFoundException：无法找到数据源：org.apache.spark.sql.cassandra”
上下文： 很抱歉打扰您，我正在努力安装 Cassandra-Spark 连接器。我的目标是安装它以使用 Spark-SQL，因为 Cassandra 对执行请求有很大的限制。 我有 ： ...
写入 cassandra 时从 Spark 结构化流数据帧中过滤错误记录
我知道我的 Spark Scala 数据帧的第 n 行存在一些问题（假设数据类型不正确）。当我尝试使用 Spark 结构化流在 cassandra 中写入此数据帧时，它失败了......