Spark Dataset是映射到关系模式的强类型对象集合。它支持Spark DataFrames的类似优化，同时提供类型安全的编程接口。
使用foldLeft和withColumn替代groupby / pivot / agg / collect_list的Spark SQL替代品，以提高性能
我有一个由三列组成的Spark DataFrame：id | col1 | col2 ----------------- x | p1 | a1 ----------------- x | p2 | b1 ----------------- y | p2 | b2 ----------------- ...
[使用foldLeft和withColumn使用groupby / pivot / agg / collect_list时如何提高Spark SQL的效率？
我有一个由三列组成的Spark DataFrame：id | col1 | col2 ----------------- x | p1 | a1 ----------------- x | p2 | b1 ----------------- y | p2 | b2 ----------------- ...
场景：我已经通过指定加载模式来读取两个XML文件。在模式中，标记之一是必需的。一种XML缺少该必需标记。现在，当我执行以下操作时，我期望...
对于给定的JSON响应：{“ id”：“ 1575972348068_1649088229”，“结果”：[{“ rows_count”：53，“ runtime_seconds”：0.004000000189989805，“ columns” ...
dataset.collectAsList（）导致集群中的java.lang.ClassCastException
当我执行List 行=（List ）数据集.collectAsList（）;在本地使用IntelliJ，我得到结果，但是在群集中运行时，出现以下错误。我在代码中使用UDF ... ] >>
dataset.collectAsList（）导致spark 2.1.1中出现java.lang.ClassCastException
当我执行List 行=（List ）数据集.collectAsList（）;在Spark 2.0.1中，我得到的结果很好，但在2.1.1中，我遇到了以下错误java.lang ....
在Spark Java中对两个数据集进行并集的必要条件是什么
什么是必要条件，例如没有列或相同列或不同列
我有一个样本数据集 如下，+ ---- + ---- + | col1 | col2 | + ---- + ---- + | a |一个| | a | b | | b | c | | c | d | + ---- + ---- +基于映射值Map sample = {“ key1” = 2，“ key2” = 4} I ...
我有类似以下的JSON原始数据{“ event”：“ login”，“ time”：“ 2019-11-20 00:14:46”，“ user_id”：978699} {“ event”：“ logout”， “ time”：“ 2019-11-20 00:14:46”，“ user_id”：992210} {“ event”：“ login”，“ time”：...
我有类似以下的JSON原始数据{“ event”：“ login”，“ time”：“ 2019-11-20 00:14:46”，“ user_id”：978699} {“ event”：“ logout”， “ time”：“ 2019-11-20 00:14:46”，“ user_id”：992210} {“ event”：“ login”，“ time”：...
我有以下数据框。我想使用spark的数据集api将其拆分为列。如何执行此操作？数据框中的数据是典型的组合apache日志中的一行。导入...
您将如何使用正则表达式将Apache日志拆分为装入数据框的列？我正在尝试尽可能多地使用spark数据集api。 Apache日志示例：127.0.0.1-坦率[10 / Oct / 2000：13：...
我正在尝试使用spark数据集API将Apache日志解析为可以查询的表。我可以先创建一个RDD，然后转换为数据帧以注册一个临时表，但这是...
我正在尝试将实木复合地板文件作为数据帧读取，并将定期更新（路径为/ folder_name。只要有新数据，旧的实木复合地板文件路径（/ folder_name）就会重命名为临时...
如何将具有十进制的spark数据帧转换为具有相同精度的BigDecimal的数据集？
如何以给定的精度创建具有BigDecimal的spark数据集？请参见spark外壳中的以下示例。您将看到我可以使用所需的BigDecimal精度创建一个DataFrame，但是...
我尝试使用zipWithIndex添加具有行号的列，如下所示：spark val df = sc.parallelize（Seq（（1.0，2.0），（0.0，-1.0），（3.0，4.0），（6.0，-2.3 ）））。toDF（“ x”，“ y”）val rddzip = df.rdd ....
我有一个超过40万行的数据集。我需要从35万到370 000的2万行数据。我要做的是第一个dataset.limit（370000）.except（dataset.limit（350000），但是当我需要顺序时...
使用Java将函数应用于Apache Spark中数据集的单个列上
说我有一个数据集：数据集 sqlDF = this.spark.sql（“ SELECT first_name，last_name，age of person”；这将返回一个包含三列的数据集：first_name，last_name，age。我想要...
我有一个如下所示的数据框，我想转换为期望的格式，作为列表中的不同值。 + --------------------- + --------------- + | col1 | col2 | + ----------------...
将数据框数据集 转换为特定列的字符串数据类型的JSON格式，并将JSON字符串转换回数据框
我正在使用Spark Java读取数据集格式的消息。我需要调用Rest API方法（仅传递几个选定的列-PID，ACCOUNTNUM）。该方法期望记录列表出现在...