使用 Kafka 的 Spark Streaming

Question

我正在尝试使用 Kafka 作为源进行 Spark Streaming，但出现如下错误：

线程“main”java.lang.NoSuchMethodError 中出现异常： kafka.consumer.SimpleConsumer.(Ljava/lang/String;IIILjava/lang/String;Lorg/apache/kafka/common/protocol/SecurityProtocol;)V

我的Kafka版本是Kafka_2.11-0.11，我使用spark 2.0.0和scala 2.11。我无法在 Maven 或任何地方找到上述兼容的 jar。上述jar在较低版本中可用，但在上述配置中不可用。 我正在使用 SCALA IDE 和 scala 库运行代码，版本为 2.11.8。该代码运行一次成功，但重新运行代码后，会抛出上述错误。

如果大家能分享您的想法并提供一些解决方案，这将非常有帮助。

Answer 1

我相信问题是你没有主要方法。某些语言（例如 java 和 c）要求您有一个 main 方法并将代码放入其中。这就是为什么它说

"main": no such method"

。因此，您需要为除导入语句、函数等之外的所有内容创建一个主方法。希望这会有所帮助。