scala 相关问题

Scala是一种通用编程语言,主要针对Java虚拟机。旨在以简洁,优雅和类型安全的方式表达通用编程模式,它融合了命令式和函数式编程风格。其主要特点是:具有类型推断的高级静态类型系统;功能类型;模式匹配;隐含参数和转换;运算符重载;与Java的完全互操作性;并发

结构化流 - 消费每条消息

什么是“推荐”的方式来处理每个消息,因为它来自结构化流媒体管道(我在Spark 2.1.1上,源是Kafka 0.10.2.1)?到目前为止,我正在寻找数据帧....

回答 1 投票 1

结构化流 - Foreach接收器

我基本上是从Kafka源代码中读取,并将每条消息转发给我的foreach处理器(感谢Jacek的简单示例页面)。如果这确实有效,我将实际执行......

回答 1 投票 5

如何使用Spark Structured Streaming连续监视目录

我希望spark能够持续监视目录并在文件出现在该目录中时使用spark.readStream读取CSV文件。请不要包含Spark Streaming的解决方案。一世 ...

回答 2 投票 7

如何在单个查询中计算不同类型列的流数据帧的统计信息?

我有一个流数据帧有三列时间col1,col2。 + ----------------------- + ------------------- + ----- --------------- + | time | col1 | col2 | ...

回答 1 投票 6

Scala:覆盖采用隐式参数的方法的首选方法?

给定方法,例如,def延迟(howlong:Duration)(隐式计时器:Timer):Future [A]覆盖它的首选方法是什么,保持隐式隐式或使其显式?并且......

回答 1 投票 2

Scala Play Framework 2.6密封特征格式给Json

我希望能够从伴侣对象读取和写入Json格式。在案例类中,我将货币类型定义为密封特征货币,以便能够限制它可以的值。一世 ...

回答 2 投票 1

如何将任何数字转换为长数

假设我有:val数:AnyVal我知道x可以是任何数字(对于我们的目的,一个Float,Double,Int,Long)。将这样的数字转换为Long的最简单方法是什么:val l = number.toLong / ...

回答 4 投票 9

如何在宏中获取Scala-macro-annotated类或对象的扩展类路径?

如果我编写了一个要应用于Scala对象或类的Scala宏,是否可以在宏中获取该带注释实体的扩展类路径? (我最终想要它作为一个字符串,...

回答 1 投票 0

找不到类型[simple type,class Definition]的合适构造函数

我用Jackson框架编写了一个Scala程序来读取Json文件。执行Scala程序时,我收到以下错误。任何人都可以建议我如何克服这个错误。 ...

回答 2 投票 0

使用DataFrame类型在scala中定义函数

我会有一个简单的问题......我尝试使用一个以数据帧作为参数的函数并返回另一个数据帧:val get_nb_previous_offre:((DataFrame)=>(DataFrame))=(arg1:...

回答 1 投票 0

Scala要么[type1,type2]

下面是使用Either的一个工作示例:val a:[Int,String] = {if(true)Left(42)//返回Int else Right(“Hello,world”)//返回一个String}但是下面没有......

回答 1 投票 1

sbt插件 - 如何确保我的settingKey在其他一切之前解决?

我有一个settingKey [Level.Value],用于日志级别。我想在其他所有内容之前设置此值,以便将我的日志级别应用于所有内容。 (我知道有......

回答 1 投票 0

无法解决简单的auth scala中的类型错误,玩框架项目

我有以下代码包控制器导入play.api.mvc._ / ** *提供安全功能* / trait安全{/ ** *检索连接用户的电子邮件* /私有def ...

回答 1 投票 0

如何正确使用mapPartitions函数

我正在做一个包含大数据的程序,这就是我使用Spark和Scala的原因。我需要对数据库进行分区,为此我使用var data0 = conf.dataBase.repartition(8).persist(StorageLevel ....

回答 1 投票 0

探索scala宏中的表达式树

我正在学习scala和作业,我必须写一个宏。宏应该探索表达式树,然后构建自定义表达式。我设法“看看”表达式......

回答 1 投票 0

用于链表样式函数调用的CPS样式

我试图将以下代码转换为继续传递样式。代码最初返回一个String,因此我将其更改为调用带有String的continue lambda。我想知道如何......

回答 1 投票 1

如何从代码外部提供spark / scala中的模式

我想读取一个ex:schema_file的文件,它将包含模式,并希望在代码中使用它来创建DataFrame我已经阅读了有关ConfigFactory以提供模式但不能将其用作...

回答 1 投票 0

Twitter使用Spark流式传输

我正在尝试使用spark scala代码来传输Twitter数据。我能够获取数据并创建数据帧并查看它。但是当我尝试提取status.getPlace.getCountry()时,我得到了一个java.lang ....

回答 2 投票 0

Apache flink:使用keyBy / connect维护流中的消息输入顺序

介绍我正在使用apache flink构建一个相当复杂的数据流网络。这个想法是,用flink实现规则引擎。作为应用程序的基本描述,它是如何...

回答 1 投票 1

如何更新接受Option的方法

我有一个像下面这样的方法:private checkSomething(something:color){return something.name ==“red”|| something.type ==“light”}这样可行,但是,我想把它改成Option ...

回答 4 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.