scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

Spark scala flatmapvalues

在Spark-shell中执行少量转换后,我得到了如下输出。我是从REPL复制并粘贴的。 scala> s.collect res44:Array [(String,String)] = Array((45000,Pavan,Amit),(50000,...

回答 1 投票 -1

使用Either的Eclipse方法签名

如果您在Eclipse中输入以下代码并将鼠标悬停在f2以显示方法签名,那就错了。仅当方法返回Future Either时才会发生这种情况。鉴于此代码:对象HelloScala ...

回答 1 投票 0

在Scala中应用列表的方法

我知道Scala List可以创建为:val l = List(1,2,3)当执行上述语句时,幕后的内容是什么?这里调用apply方法吗?根据scala文档:对于......

回答 1 投票 2

无法在宏中找到...的代理

我一直在追逐以下问题很长一段时间,我希望有一个比我更有经验的人可以帮我解决它。在我的测试用例中,确切的错误如下:java ....

回答 1 投票 2

接口中的静态方法需要-target:jvm-1.8

我正在使用gradle 4.5,scala 2.11.11 / 2.12.4和JDK 1.8.0_162构建scala项目,它工作正常,直到我升级到scala 2.11.12。随着2.11.12我不断得到编译错误静态方法...

回答 1 投票 2

运行后运行任务

我在执行run之前启动了一些docker容器来启动我的play-framework项目:在Compile中运行:=(在Compile dependsOn(dockerComposeUp)中运行).resitly now我想拆掉所有的docker ...

回答 1 投票 1

作业提交时Scala fat jar依赖问题

我用Scala编写了简单的kafka流。它在当地很好用。我已经拿了胖罐并在scala集群中提交。提交作业后,我发现课程未找到错误。如果我提取......

回答 2 投票 2

在S3中将每个分区数据写入单个文件中

我们有一个用例,我们希望用列值对数据帧进行分区,然后将每个分区写入单个文件。我做了同样的事情:val df = spark.read.format(“csv”)....

回答 2 投票 0

将Java List更改为Scala Seq?

我的配置中有以下列表:val markets = Configuration.getStringList(“markets”);为了创建一个序列,我编写了这段代码:JavaConverters.asScalaIteratorConverter(...

回答 2 投票 1

Scala:使用try / catch重试异常处理

我正在尝试为JSON转换添加重试逻辑。将对象转换为json时,如果有任何异常,我将重试3次。我在做:var mapper = new ObjectMapper()with ...

回答 1 投票 0

用于仪器的Scala-meta

我注意到scala-meta提供了转换函数,但没有插入额外代码的函数(例如,import函数或函数的每个开始时的方法调用)。所有结构......

回答 1 投票 0

如何一起使用SparkSession和StreamingContext?

我正在尝试从本地计算机(OSX)上的文件夹中流式传输CSV文件。我像这样一起使用SparkSession和StreamingContext:val sc:SparkContext = createSparkContext(sparkContextName)val ...

回答 1 投票 1

如何在Scala中替换缓冲图像中的最低有效位

我试图在Scala中的缓冲图像像素中替换每个红色,绿色和蓝色值中的两个最低有效位。但是当我尝试改变最低有效位时,改变并不成立....

回答 1 投票 0

在Spark中,一个动作后坚持是好的做法吗?

鉴于这个例子; val someRDD = firstRDD.flatMap {case(x,y)=> SomeFunc(y)} val oneRDD = someRDD.reduceByKey(_ + _)oneRDD.saveAsNewAPIHadoopFile(“dir / to / write / to”,classOf [Text], ...

回答 1 投票 0

如何通过scala中的数据框获得统计信息?

我正在使用具有架构的数据帧df.printschema()root | - _id:long(nullable = true)| - d:array(nullable = true)| | - element:struct(containsNull ...

回答 1 投票 1

JSONLD:如何将json转换为JsonLD?

我有一个用例,我有一个Json数据,我必须将其转换为JSONLD格式。第一个问题:这可以轻松完成,就像一些API,可能是我遗漏了吗?第二......

回答 2 投票 1

使用vespa.ai进行SBT依赖性解决失败

我已将Vespa添加到sbt项目中:libraryDependencies + =“com.yahoo.vespa”%“vespa-http-client”%“6.225.3”导致以下模块解析失败:[warn]检测到合并.. 。

回答 2 投票 2

使用SQL插值的ScalikeJDBC的未知SQL语法错误

为了避免DRY,我试图创建一个带有可变列名的sql INSERT语句,并通过ScalikeJDBC的sql插值来填充这些列:case class MySQLInsertMessage(...

回答 1 投票 0

HDFS为文件及其所有目录授予权限

我在HDFS中有以下数据(2个文件):/ a / b / c /f1.txt /f2.txt我想将f1.txt和f2.txt的权限更改为644:例如hadoop fs -chmod 644 /a/b/c/*.txt然而,在......

回答 2 投票 0

Flink BucketingSink与NoClassDefFoundError崩溃:Lorg / apache / hadoop / fs / FileSystem

尝试使用flink的版本:1.4.0,1.4.1,1.4.2当我尝试使用这个简单的flink应用程序时,我需要使用val env:StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment env ....

回答 1 投票 2

© www.soinside.com 2019 - 2024. All rights reserved.