Spark Streaming是核心Apache Spark API的扩展,可实现实时数据流的高吞吐量,容错流处理。从版本1.3.0开始,即使遇到故障,它也支持一次性处理语义。
错误 java.lang.NoSuchFieldError。NO_INTS
当运行spark流媒体应用程序从kinesis中获取数据时,出现以下错误。在线程 "Kinesis Receiver 0 "中出现异常 java.lang.NoSuchFieldError: NO_INTS at com.fasterxml......。
Spark Scala中DataSet[Row]和sql.DataFrame类型的区别[重复]
我对DataSet[Row]和sql.DataFrame这两个数据类型感到困惑。在各种文档等中都提到DataFrame就是DataSet[Row]。那么什么是sql.DataFrame。下面是代码...
在 "main "线程中出现错误。在线程 "main "中出现异常 java.lang.NoClassDefFoundError: orgapachesparkSparkConf
我正在使用Kafka Spark Streaming。IDLE没有显示任何错误,程序也能成功构建,但我得到了这个错误。Exception in thread "main" java.lang.......
我有一个火花流作业,我正试图由火花-k8-操作员提交。我一直保持重启策略为始终。然而,在手动删除的驱动程序是没有得到......
在Spark Straming中使用DStream API从Kafka读取时间戳。
我想用Python用Spark流读取一个Kafka主题的值。我正在使用DStream API,使用spark-streaming-kafka-0-8支持(虽然已经废弃)。我的代码如下。...
我是Apache Spark Streaming的新手。我正在开发一个spark流媒体应用程序,以找到最短的路径,并再次发送路径回到客户端。我已经写了代码来获取数据和...
我有一个流式数据框架,我想计算一些每日计数器。到目前为止,我一直在使用带有水印的翻滚窗口,如下所示。.withWatermark("timestamp", "10分钟") \ .groupBy(... ...
我使用ubuntu,当我试图将一个数据帧保存到HDFS(spark scala)时:procesed.write.format("json").save("hdfs:/localhost:54310mydataenedisPOCprocessed.json")我得到了这个错误,原因是:org...。
在PySpark结构化流中,Kafka JSON数据与模式为空。新模式的输入不匹配
我正在尝试在Spark结构化流中读取JSON中的Kafka消息。Kafka中的消息示例如下。{ "_id": { "$oid": "5e58f86d5 "5e58f86d5afd84019c13540c" }, "Id": 8, "...
如何Intialize火花shell与特定的用户保存数据到hdfs的apache火花。
im使用ubuntu im使用spark依赖使用intellij命令 "spark "没有找到,但可以安装。...(当我在shell中输入spark)我有两个用户胺,和hadoop_amine(其中hadoop ...
如何在Spark中把输入的数据流保存到执行数据结构中进行sql查询?
I'm new in the word of bigdata. 我的目标是在某种数据结构中维护一个输入数据流,对其进行查询和聚合操作。有一个连续的数据作为输入...
我正在运行一个spark结构化流作业,其中包括创建一个空的数据框架,使用每个微批更新它,如下所示。随着每一个微批处理的执行,阶段数增加......。
什么是需要修复的数据。如何决定spark中Reparation的大小。修复的概念是否适用于spark流和结构化流。DF.Repartion(num)
试图流SQLServer表数据。所以,已经创建了一个简单的java程序与主类。创建了一个sparkconf,并使用,发起了一个JavaStreamingContext和检索SparkContext从它。...
每当我运行Scala对象时,都会出现scala.MatchError消息。
下面这段代码是我使用Spark Streaming的一个Twitter Streaming应用的一部分。
Spark Scala NoClassDefFoundError: orgapachesparkLogging
我检查了很多其他论坛和帖子 但我似乎无法找出问题所在。我所看到的都是人们说不要使用日志记录,以及它是如何被废弃的,但我甚至不知道我在哪里... ...
我收到来自Kafka的JSON字符串, 需要由PySpark处理. 字符串如下。{"_id": {"$oid": "5eb56a371af2d82e242d24ae"}, "Id": 7, "时间戳": {"$date": 1582889068586}, "Id": 7, "Timestamp": {"$date": 1582889068586},"...
我刚开始学习Spark,出现了不少让我惊恐的事情。其中最简单的一个就是,似乎有一些Spark流媒体属性,他们没有使 ...
在我的结构化流作业中,我在updateAcrossEvents方法中更新Spark Accumulators,但是当我试图在StreamingListener中打印它们时,它们总是0。下面是代码。....
Py4JJavaError: 在调用o25.sql时发生错误:org.apache.spark.sql.AnalysisException。表或视图未找到:table1
我正在学习火花流,当我执行下面的代码时,我得到一个错误,这是为了执行tweet分析:我正在使用jupyter-notebook。###可能会引起废弃警告,可以忽略,它们不是来自......的错误。