使用scala Spark通过zstd压缩读取Kafka数据

Question

我们正在尝试使用 zstd 压缩从 Kafka Producer 读取数据。

但是出现错误 - java.lang.NoClassDefFoundError：com/github/luben/zstd/ZstdOutputStreamNoFinalizer

我们使用的是 Spark 3.3.2 和 scala 12.2.14。 尝试添加 -

1. Jar 文件 - zstd-jni-1.5.2-3.jar
2. pom.xml 中的依赖关系 -

<dependency>
     <artifactId>zstd-jni</artifactId>
     <groupId>com.github.luben</groupId>
     <version>1.5.2-1</version> 
</dependency>

但仍然是同样的错误。知道如何解决这个问题。

Answer 1

文中写着

1.5.2-3

，

pom.xml

写着

1.5.2-1

你有没有尝试过类似的事情

spark-submit [....] --jars path/to/zstd-jni-1.5.2-3.jar

此外，zstd-jni 版本大约有 2 年历史，Spark 版本大约有 18 个月历史。你检查过它们是否兼容吗？