spark-submit是一个能够运行apache-spark代码的脚本。 java，scala或python
我正在尝试部署我为我的主模块中的模块完成的项目。在这个项目中，我必须修改一些文件，以便能够将 Spark 与一些 Spark Workers、Cassandra、Flask 和更多 Packa 一起使用...
引起：java.lang.ClassNotFoundException：org.apache.kafka.common.serialization.ByteArraySerializer
我正在使用 kafka 和 cassandra 进行 Spark 结构化流处理，当我在命令下运行时出现错误 Spark-submit --class StreamHandler --master local[*] --packages "org.apache.spark...
当我的气流管道在本地 Spark 上运行作业时出现错误。我的应用程序包含两个文件： dag-airflow-spark-submitop.py ： 进口气流 从日期时间导入日期时间，时间增量 来自艾...
如何在 Spark 提交中使用 Artifactory 中存储的 JAR？
我正在尝试配置spark-submits以使用存储在artifactory中的JAR。 我尝试了几种方法来做到这一点 尝试 1：更改 --jars 参数以指向 https 端点 重新...
Spark java.lang.OutOfMemoryError：Java 堆空间[重复]
当我使用 Spark 运行模型训练管道时出现上述错误 val 输入数据 = Spark.read .option("标题", true) .option("模式","DROPMALFORMED") .csv(
在 azure synapse 中调用 POST livy 批处理 api 时，Spark 请求的核心数量多于要求的数量
我有一个天蓝色的突触 Spark 集群，有 3 个节点，每个节点有 4 个 vCore 和 32 GB 内存。我正在尝试使用 azure synapse Livy 批处理 API 提交 Spark 作业。请求看起来像这样， 卷曲--loca...
java.lang.IllegalArgumentException：框架太大：5211883372140375593
我将代码提交到集群运行，但是遇到了以下错误。 ''' java.lang.IllegalArgumentException：框架太大：5211883372140375593 在 org.sparkproject.guava.base.Precond...
从 Docker 中运行的 Airflow 将 Spark 作业提交到本地运行的 Spark 独立集群
我在 Docker 容器中运行 Airflow 2.3.4，并在本地计算机中运行 Spark 3.3.0 独立集群。我正在尝试使用 SparkSubmitOperator 将 Spark 作业提交到我本地的 Spark cl...
ClassNotFoundException：spark 提交期间 org.apache.beam.runners.spark.io.SourceRDD$SourcePartition
我使用spark-submit来spark独立集群来执行我的shaded jar，但是执行器出现错误： 2006 年 12 月 22 日 15:21:25 INFO TaskSetManager：在阶段 0.0 (TID 1) 中启动任务 0.1 (10.37.2.77，
当我运行以下命令时： 火花提交--名称“我的应用程序”--master“本地[*]”--py-files main.py--驱动程序内存12g--执行程序内存12g 在我的妈妈中使用以下代码...
使用Livy提交spark submit后外部文件的路径是什么？
我正在使用 Livy batch api 提交 spark 作业，如下所示。在这里，我将 .p12 作为文件参数传递，稍后将在应用程序中用于 ssl 通信。 { “类名&
Spark 提交错误 - 无法从 jar 加载主类 - PySpark
我正在运行下面的 spark submit 命令，并收到一条错误消息，提示无法从 jar 文件加载主类：/path/to/dependency.zip 我很难理解为什么它会在 zip 文件中查找主类
spark-submit 错误，来自坏节点的容器，如何判断一个节点是好是坏
[2023/04/18 13:27:55 警告 YarnSchedulerBackend$YarnSchedulerEndpoint： 请求驱动程序删除执行程序 4，原因是 Container 来自一个坏的 节点：主机上的容器_1681790542995_0003_01_000008：没有...
错误：Spark-Submit DAG 无法在 Airflow 容器中找到 GCS 连接器文件
我在尝试在 Airflow 容器中运行 spark-submit 作业时遇到错误，希望得到您的帮助。 我构建了两张图片——一张用于 Airflow，一张用于 Spark 并运行 docker-compose f...
使用 spark-submit 在集群模式（Spark 独立模式）下同时运行多个 spark 作业
我开始： master 使用 spark-class org.apache.spark.deploy.master.Master worker 使用 spark 类 org.apache.spark.deploy.worker.Worker spark://IP:PORT 然后我使用提交罐子 火花提交...
K8s 上的 spark-submit 与 --package 和 jetty-web-app 的依赖错误
我正在尝试使用 pyspark 和 spark-submit 执行 spark 作业到 kubernetes。我不断收到此错误： 线程“main”中的异常 java.lang.RuntimeException：检索 o 期间出现问题...
我是pyspark的新手。我了解到 local[*] 在本地运行 Spark，其工作线程数与机器上的逻辑内核数一样多。任何人都可以详细解释一下，这是什么意思？ 例如，如果我有一个
Apache Spark方法sun.misc.Cleaner sun.nio.ch.DirectBuffer.cleaner()在spark-submit过程中未找到。
我试图从一个使用Yarn集群模式的虚拟机上运行以下Spark提交。.spark-submit --master yarn --deploy-mode client test_spark_yarn.py 虚拟机的java版本为11，spark-2.4.5......。
如何在kubernetes上使用GCP火花操作符运行spark-submit命令？
我有一个spark应用，我想在kubernetes上部署使用GCP spark operatorhttps:/github.comGoogleCloudPlatformspark-on-k8s-operator。我能够运行一个spark应用，使用...
问：在spark-submit之后，找不到logger(org.apache.spark.deploy.SparkSubmit$$anon$2)的附属机构。
用Apache Spark一步步快速启动，但最后显示这个警告信息 200525 09:43:05 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java ....