Scala是一种通用编程语言，主要针对Java虚拟机。旨在以简洁，优雅和类型安全的方式表达通用编程模式，它融合了命令式和函数式编程风格。其主要特点是：具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发
我有一个火花程序，涉及大型Hive表的连接操作（数百万行，数百列）。在这些连接期间使用的内存非常高。我想了解......
如何将shell脚本中定义的变量用于Scala文件？ [重复]
我有一个脚本文件，我在其中定义一些日期变量，在同一个文件中，我使用spark-shell命令调用Scala代码。 shell文件中定义的变量用作...
rest api的JS客户端可以将int和string作为某个字段的值发送。 {field1：“123”，field2：“456”} {field1：123，field2：456}这是一个包含案例类的播放动作......
Spark REST API，在Windows上提交应用程序NullPointerException
我使用Spark 2.3.1将我的PC用作Spark服务器，同时使用Spark Worker。起初，我使用了我的Ubuntu 16.04 LTS。一切正常，我试图运行SparkPi示例（使用...
无法将Spark数据框发送到Kafka（java.lang.ClassNotFoundException：无法找到数据源：kafka。）
我在使用Spark数据框向Kafka推送数据时遇到了问题。让我通过示例示例详细解释我的场景。我想加载数据以激发并将spark输出发送到kafka。一世 ...
Scala Option [String]地图变为Iterable
为什么这个编译：def foo（）：Iterable [URI] = {Some（“”）。map（URI.create）}
我有Spark Scala的问题，我想在Spark流中加倍元组元素，我从kafka到dstream获取数据，我的RDD数据是这样的，（2，[2,3,4,6,5]）（4 ，[2,3,4,6,5]）（7，[2,3,4,6,5]）......
有没有方便的方法将Dataframe从Spark转换为DL4j使用的类型？目前在DL4j的算法中使用Daraframe我得到一个错误：“类型不匹配，预期：RDD [DataSet]，实际：...
我有一个这样的输入文件：莎士比亚的作品，威廉·莎士比亚语言：英语和我想使用flatMap和组合方法来获得每行的K-V对。这是什么 ...
Spark-submit ClassNotFoundexception
我使用这个简单的例子遇到了“ClassNotFound”异常的问题：import org.apache.spark.SparkContext import org.apache.spark.SparkContext._ import org.apache.spark.SparkConf import ...
我想要的是将特定列中的值替换为null，如果它是空String。原因是我正在使用org.apache.spark.sql.functions.coalesce来填充Dataframe的一个列...
如何在Spark提交中使用s3a和Apache spark 2.2（hadoop 2.8）？
我正在尝试使用使用hadoop 2.8版本构建的spark 2.2.0从spark访问S3数据，我使用的是/jars/hadoop-aws-2.8.3.jar,/ jars / aws-java-sdk-s3- 1.10.6.jar和/ jars / aws-java-sdk -...
我想将隐式参数传递给我的pimped类型，就像我在实际类型中所做的那样。但由于隐式类只占用一个参数，我没有办法隐式地将参数传递给我...
在ReactiveMongo 0.11查询中使用$ in运算符时遇到问题。由于某种原因，查询返回零文档，但我可以确认ID存在。所以我假设我没有构建这个......
无法使用Spark Structured Streaming在Parquet文件中写入数据
我有一个Spark结构流：val df = spark .readStream .format（“kafka”）。option（“kafka.bootstrap.servers”，“localhost：9092”）。option（“startingOffsets”，“earliest”）.. 。
什么是“推荐”的方式来处理每个消息，因为它来自结构化流媒体管道（我在Spark 2.1.1上，源是Kafka 0.10.2.1）？到目前为止，我正在寻找数据帧....
我基本上是从Kafka源代码中读取，并将每条消息转发给我的foreach处理器（感谢Jacek的简单示例页面）。如果这确实有效，我将实际执行......
如何使用Spark Structured Streaming连续监视目录
我希望spark能够持续监视目录并在文件出现在该目录中时使用spark.readStream读取CSV文件。请不要包含Spark Streaming的解决方案。一世 ...
我有一个流数据帧有三列时间col1，col2。 + ----------------------- + ------------------- + ----- --------------- + | time | col1 | col2 | ...
给定方法，例如，def延迟（howlong：Duration）（隐式计时器：Timer）：Future [A]覆盖它的首选方法是什么，保持隐式隐式或使其显式？并且......