spark-java 相关问题

Apache Spark log4j2.properties 文件不生成日志文件

我尝试在spark 4.0上生成用户定义的日志文件。 操作系统：Windows 11 火花：spark-4.0.0-preview2-bin-hadoop3 首先，我在 %SPARK_HOME 上创建 log4j2.properties 文件

Spark Java Web 框架与 Java 17 兼容吗？

Spark - Java 8 的小型 Web 框架 https://sparkjava.com/ 总是提到这个框架是针对 Java 8 的。有人能确认这个框架是向前兼容的吗？我们可以使用...

Spark Java 框架是否兼容 Java 17？

Spark - Java 8 的小型 Web 框架 https://sparkjava.com/ 总是提到这个框架是针对 Java 8 的。有人能确认这个框架是向前兼容的吗？我们可以使用...

如何从Java运行SparkJava

我正在尝试在 Maven 中捆绑 Spark Java 应用程序，有什么想法吗？ 我使用了 maven-compiler 插件，但不走运，依赖项未加载。 我正在尝试在 Maven 中捆绑 Spark Java 应用程序，有什么想法吗？ 我已经使用了 maven-compiler 插件，但不走运，依赖项未加载。 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.8.1</version> <configuration> <source>21</source> <target>21</target> </configuration> </plugin> 都不是 <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>3.2.0</version> ``` plugin 这对我有用， <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.example</groupId> <artifactId>server</artifactId> <version>1.0-SNAPSHOT</version> <properties> <maven.compiler.source>21</maven.compiler.source> <maven.compiler.target>21</maven.compiler.target> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <dependencies> <dependency> <groupId>org.mockito</groupId> <artifactId>mockito-core</artifactId> <version>5.7.0</version> <scope>test</scope> </dependency> <dependency> <groupId>org.junit.jupiter</groupId> <artifactId>junit-jupiter</artifactId> <version>5.10.2</version> <scope>test</scope> </dependency> <dependency> <groupId>org.awaitility</groupId> <artifactId>awaitility</artifactId> <version>4.2.0</version> </dependency> <dependency> <groupId>com.google.code.tempus-fugit</groupId> <artifactId>tempus-fugit</artifactId> <version>1.1</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-simple</artifactId> <version>1.7.32</version> </dependency> <dependency> <groupId>com.sparkjava</groupId> <artifactId>spark-core</artifactId> <version>2.7.2</version> </dependency> <dependency> <groupId>com.google.code.gson</groupId> <artifactId>gson</artifactId> <version>2.10.1</version> </dependency> <dependency> <groupId>io.rest-assured</groupId> <artifactId>rest-assured</artifactId> <version>5.5.0</version> <scope>test</scope> </dependency> </dependencies> <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.2.4</version> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ManifestResourceTransformer"> <mainClass>org.example.Server</mainClass> </transformer> </transformers> </configuration> </execution> </executions> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-compiler-plugin</artifactId> <version>3.8.1</version> <configuration> <source>21</source> <target>21</target> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-jar-plugin</artifactId> <version>3.2.0</version> <configuration> <archive> <manifest> <mainClass>org.example.Server</mainClass> </manifest> </archive> </configuration> </plugin> </plugins> </build> </project>

更改Java Spark端口号

我的 java Spark Web 应用程序使用嵌入式 jetty Web 服务器，使用端口号 4567。不幸的是，这个端口号在我的计算机上被阻止，并且不希望解除阻止。如果看着火花

Spark 结构化流的分组和排序

我有一个用例，其中有流数据集，例如手机号码、开始时间和通话持续时间。 我需要对手机号码进行分组，并根据开始时间对组进行排序并过滤掉呼叫

如何使用Java和Spark模拟多部分/表单数据？

我正在使用 multipart/form-data 接收一个文件，如下所示（使用 Spark，而不是 SpringBoot）： @覆盖 公共对象句柄（请求请求，响应响应）抛出异常{

在 databricks 上使用 geoscan 时出错

我在 Azure Databricks 上使用了 geoscan 库。但是，当我配置任务时，出现此错误。 `TypeError：'JavaPackage'对象不可调用 --------------------------------------------------------...

配置Apache Spark的MemoryStream来模拟Kafka流

我被要求研究使用 Apache Spark 的 MemoryStream 在 Java Spring Boot 服务中模拟 Kafka 流。文档/在线社区在这个主题上有点小，所以我...

需要@Bind吗？

我偶然发现，在 Spring Boot 项目中，我不必在如下查询中绑定参数。 @SqlQuery(""" 选择ID、姓名 来自组织 ...

如何为通过 Sparkjava 构建的 API 创建 API 文档？

我正在构建一个 Java 应用程序，该应用程序使用 REST API 的“spark java”框架。这是一个很好的简单框架。但我需要创建自动生成的文档。我发现斯瓦格...

OkHttp 新会话

我有一个http服务器，它使用会话，但是每次我从okhttp发送请求时，服务器都会创建一个新会话。 服务器使用jetty和sparkjava。在浏览器中它可以正常工作，并且...

Spark Java sum 给出的值不正确

Spark Java sum 给出的值不正确 Java示例代码如下 列表点 = Arrays.asList(-6221.4, 6380.46); 数据集 dt = Spark.createDataset(points, Encoders.DOUB...

Spark SQL SELECT 有效，但 INSERT 由于 Spark 问题而失败

我正在连接到在 Spark 中运行的 Iceberg 并查询表。我能够从 Spark-Shell 中进行选择和插入。但是从 Java 代码执行相同的语句时会遇到问题 SparkConf SparkCo...

Spark 并行化到一个函数，该函数返回一个列表并将所有列表连接在一起成为一个单一的列表

我有一个文件列表，我想在没有 spark.read API 的情况下读取这些文件。它效率较低，但由于我的数据设置方式，我想自己读取它并返回一个对象列表。 我的功能是一个

Spark - 使用阈值计算运行总和

我有一个用例，我需要在运行总和不超过特定阈值的分区上计算运行总和。 例如： // 输入数据集 |编号 |创建时间 |价值 |跑...

在 Java 后端渲染图像然后在前端显示它

我的目标是在前端有一个节点编辑器，它将有关数据应该如何呈现为图像的信息传递到后端，在那里完成繁重的工作，从而产生一个图像 w...

无法加载 Spark 静态子目录

这是我的问题： 我在我的 Java 项目中使用 Spark 作为我的 Web 服务器框架。 我的网站设计有以下结构： 索引.html js 文件夹（包含 JavaScript 库和文件） CSS

如何配置 Eureka Client 和 Service 属性？

我正在尝试使用 Eureka 注册我的 Java 服务 - 但没有成功。我有一个使用 Spark-Java 框架的现有代码库，因此“仅添加 2 行 Spring 注释，瞧！”例子

在spark中，有什么方法可以使静态连接到redshift数据库。

我正在使用spark API spark.read.jdbc(String url,String table,java.util.Properties properties)。它用从数据库表中返回的模式创建一个数据框架。每次当我调用...