Apache Spark是一个用Scala编写的开源分布式数据处理引擎，为用户提供统一的API和分布式数据集。 Apache Spark的用例通常与机器/深度学习，图形处理有关。
我有一个 Databricks 集群，配置为最少 1 个工作线程、最多 4 个工作线程，并启用了自动扩展。我的 Ray 配置 (setup_ray_cluster) 应该怎样才能充分利用
Pyspark Avro 写入错误 SQLConf$LegacyBehaviorPolicy
我正在尝试将数据写入 PySpark，但它给了我一个错误： 我的代码是： 火花 = pyspark.sql.SparkSession.builder\ .master("本地[*]")\ .appName("MiAplicacionSpark")\ ...
如何在 pyspark 数据框中分解 arraytype 列
我有一个 pyspark 数据框，如下所示 我需要分解 Items 和 Value1 列。这是我目前的代码 df_ob_exploded = df.withColumn('op_it.objects', F.爆炸(F.array(*[F....
Spark 的 BloomFilter 的 bitSize 与给定的 bitSize 不匹配
我有两个关于将 BloomFilter 与 Spark 一起使用的问题。 我正在尝试使用 Spark 的 DataFrameStatFunctions 从 Databricks 15.4/Spark 3.5 中的 DataFrame 构建 BloomFilter。它创建的是一个 org.apa...
我正在尝试将数据插入到 Hive 表中，该表的动态分区值需要是计算日期，但 Hive 的 PARTITION 子句似乎不支持表达式或函数。 我有一个...
Glue Spark：某些任务有 0 条记录用于洗牌，但某些任务有磁盘溢出
我有一个 Spark 作业，其中某些任务的记录输出为零，并且随机播放读取大小，其中某些任务有内存和磁盘溢出。有人可以帮我做什么来优化执行吗？ 执行...
具有单列值的数据框如下所示 ------------------------ |价值| |----------------------| |列 1，列 2，列 3，列 4 | | v1,v2,v3,v4 | | v1，...
我正在使用 xgboost PySpark API。该 API 是实验性的，但它支持 xgboost API 的大部分功能。 根据下面的文档，不支持 eval_set 参数，而是
我需要您的帮助来创建从 databricks 到 Azure 中的 sql server 数据库的“永久”连接。 我在 pyspark 中有一个代码可以使用驱动程序“com.microsoft.
如何检查namenode返回哪个HDFS datanode ip到spark？
如果我在 PySpark 中读取/写入数据帧并指定 HDFS 名称节点主机名和端口： df.write.parquet("hdfs://namenode:8020/test/go", mode="覆盖") 有什么办法
从 Apache Spark Row 获取字段，该字段使用 Scala 将数组作为 Seq 包装到列表中
背景 从delta表中获取json格式的数据 使用 Apache Spark 和 Scala 数据格式 val 工厂 = """ { “城市”：{ “姓名&q...
我正在使用“_corrupt_record”列根据文件架构解析 csv 文件中的错误记录。我现在有一个用例，我希望将新列添加到文件中，但我可能不会...
调用rewrite_data_files过程后如何处理Iceberg CommitFailedException？
我的应用程序旨在接收流数据并使用 PySpark 和 Iceberg 将其插入数据库。短暂的直播后，我跑了 Spark.sql("调用 local.system.rewrite_data...
我尝试使用spark-submit命令在本地运行以下Python脚本： 导入系统 sys.path.insert(0, '.') 从 pyspark 导入 SparkContext、SparkConf 从 commons.Utils 导入 Utils 定义
如何使用 Azure 数据工厂从 Dell ECS 提取数据？
我的客户在其数据中心有一台 Dell ECS，该设备用于： 以镶木地板格式存储数据 通过 Databrick 的 Delta Lake 维护聚合数据 我需要能够提取（稍后
使用 EPSG 坐标转换将东向北坐标转换为 Scala/Spark 中的纬度和经度
我正在 Scala 和 Apache Spark 中开发一个项目，我需要将坐标从东/北 (EPSG:27700) 转换为纬度/经度 (EPSG:4326)。我有一个在内置中使用的 Python 脚本
我有一个包含 2M 行的 PySpark DataFrame，称为 inventory，其中包含以下列： 类别_id 子类别 ID 产品代码 产品名称 1001 A001 X123 小工具A 1001 A002 X456 小工具B 2002年 乙...
尽管 Spark History UI 作业陷入运行状态，但作业在气流中失败。 AWS 无服务器
有没有人经历过 Airflow 中作业失败的情况，尽管在 Spark History UI 中，作业仍然停留在运行状态。另外，我添加了一行代码将数据写入S3（不读取我...
ConnectionRefusedError - Python pyspark
我尝试在我的 Jupyter 笔记本中运行这个简单的 Spark 会话创建命令 - 火花 = SparkSession.builder.getOrCreate() 但我不断收到以下错误： -------------------...
pyspark addPyFile 添加 .py 文件的 zip，但仍然找不到模块
使用 addPyFiles() 似乎没有将所需的文件添加到 Spark 作业节点（对于 Spark 来说是新手，所以这里可能缺少一些基本的使用知识）。 尝试使用 pyspark 运行脚本并看到