spark-submit是一个能够运行apache-spark代码的脚本。 java，scala或python
spark-submit 本地模式下的 PySpark 虚拟环境问题
我正在尝试在本地模式下使用spark-submit在python虚拟环境中运行python程序，即使pyspark未安装在虚拟环境中，它仍然可以运行而不会失败。
是否可以将 PySpark ETL 管道的每个步骤分配给 Airflow DAG 的单独任务？
据我所知，我需要使用 SparkSubmitOperator 来提交我的 PySpark 脚本。但是，如果我想将 Spark 作业的提取、转换和加载部分分配给 Ai 中的不同任务该怎么办...
将 parquet 上传到 nutanix 对象存储时，Spark 提交抛出错误
通过 pyspark 代码将 parquet 文件上传到 nutanix 对象存储时出现以下异常。 例外： /data/spark3/spark3/python/lib/pyspark.zip/pyspark/context.py:238：FutureWarning：
Spark 在 kubernetes 上提交 java.nio.file.NoSuchFileException
我正在尝试在 kubernetes 管理的集群中运行 scala/spark 应用程序。 我构建了 scala/spark 应用程序的 jar 文件：scala-spark-1.0-jar-with-dependency.jar 我建立了自己的码头工人
我正在使用 Perl 脚本构建一个 Spark-submit 命令，该命令将触发 Hadoop 集群上长时间运行的 Spark 作业，然后使用 system() 执行该命令。有时，system() 返回...
Pyspark：使用 Spark-submit 运行文件时执行 Jupyter 命令时出错
我能够运行 pyspark 并在 Jupyter 笔记本上运行脚本。 但是当我尝试使用 Spark-submit 从终端运行文件时，出现以下错误： 执行 Jupyter 命令文件路径时出错 [Errn...
从 Airflow 连接到 Spark Standalone 集群
我使用 docker-compose 文件在本地环境上运行气流，并且 Spark 独立集群也在本地运行。我登录到气流工作容器并尝试将 Spark 作业提交到独立
将系统属性传递给spark-submit并从类路径或自定义路径读取文件
我最近找到了一种在 Apache Spark 中使用 logback 而不是 log4j 的方法（既可以用于本地使用，也可以用于 Spark-submit）。然而，还缺少最后一块。 问题是 Spark 非常努力而不是......
上下文：我有一个 C# API，它将 HTTP POST 请求发送到 Livy 的 /batches 路由，然后 Livy 将参数转发到我的 Scala Spark 驱动程序。据我所知，Livy 在内部运营 Spark-su...
Spark 作业在 Airflow 中成功，但在 Spark UI 中看不到结果
我是气流和火花的初学者，目前我正在使用气流和火花在本地设置数据管道。 我想做的 DAG 只有一项在 Spark 上运行 pyspark 作业的任务。 那些日子...
问题是，根据您运行 Spark 的方式，您是否可以看到 Hive 数据库。我接下来会采取三项行动： 使用蜂巢 hive> 显示数据库； 好的 默认 数据库 火花数据库 花费时间：0.041秒...
我在不同的主机上有气流和火花。我正在尝试提交它，但出现以下错误： {standard_task_runner.py:107} 错误 - 无法执行任务 Spark_job 的作业 223（无法执行...
在spark上运行非spark python代码以利用其分布式计算来优化性能
我可以在spark中使用现有的原生python代码（非pyspark代码）来利用其快速处理和分布式功能吗？我不想编辑现有的 python 代码以使其成为 pyspark 代码...并且...
我正在尝试测试spark-submit独立模式并运行下面的示例任务 火花提交\ --class org.apache.spark.examples.SparkPi \ --master Spark://MBP-49F32N-CSP.local:7077 \ --
我正在尝试执行一个由几个函数组成的 Airflow 脚本。我想将“program_no”的值作为 Spark 提交请求中的参数传递，我从...
我正在尝试部署我为我的主模块中的模块完成的项目。在这个项目中，我必须修改一些文件，以便能够将 Spark 与一些 Spark Workers、Cassandra、Flask 和更多 Packa 一起使用...
引起：java.lang.ClassNotFoundException：org.apache.kafka.common.serialization.ByteArraySerializer
我正在使用 kafka 和 cassandra 进行 Spark 结构化流处理，当我在命令下运行时出现错误 Spark-submit --class StreamHandler --master local[*] --packages "org.apache.spark...
当我的气流管道在本地 Spark 上运行作业时出现错误。我的应用程序包含两个文件： dag-airflow-spark-submitop.py ： 进口气流 从日期时间导入日期时间，时间增量 来自艾...
如何在 Spark 提交中使用 Artifactory 中存储的 JAR？
我正在尝试配置spark-submits以使用存储在artifactory中的JAR。 我尝试了几种方法来做到这一点 尝试 1：更改 --jars 参数以指向 https 端点 重新...