apache-storm 相关问题

Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。 Storm很简单,可以与任何编程语言一起使用

Kotlin:循环遍历过滤的(可能是空的,最多一个元素)列表

我有一个风暴螺栓,它获取包含MyClass类型值的元组,而MyClass又包含一个时间字段startTime。在螺栓的最后,我想记录处理所用的时间......

回答 1 投票 0

如何禁用/关闭Storm的日志记录功能

我想在从本地群集运行时关闭默认提供的日志记录功能。目前它在控制台上记录了很多信息。下面是log的例子:261 [main] INFO ...

回答 6 投票 14

如何在风暴拓扑中使用drools

现在我想在一个印迹中使用Drools,它在LocalCluster中正常工作,但是当我把它放到生产集群时,它有错误。印迹是:公共类DealLostBolt扩展BaseRichBolt {...

回答 1 投票 0

Apache-storm Supervisor在尝试在多节点环境中运行拓扑时死亡

我正在做最简单的zookeeper / storm / topology / muti-node测试。一切都很好,但主管在最后阶段(当风暴主管试图运行拓扑时)死亡。我有3个VM(...

回答 1 投票 2

Storm如何分配任务ID?

我一直试图了解Storm如何将任务ID分配给一个螺栓。从这个讨论看来,“任务ID在拓扑创建时分配并且是静态的。如果任务死亡/重新启动或得到......

回答 1 投票 0

Apache Storm - 从SPOUT访问数据库 - 连接池

每个刻度线上都有一个喷口进入Postgre数据库并读取另一行。 spout代码如下所示:类RawDataLevelSpout扩展BaseRichSpout实现Serializable {...

回答 1 投票 1

Apache Storm 1.1.1 - 在哪里可以找到我的日志文件?

我已经检查了这些问题:从风暴螺栓中记录 - 它在哪里?而且解决方案不再适用了。理论上,当我们发动风暴时,设置storm.log.dir的系统变量...

回答 2 投票 0

如何在Intellij中从storm-starter运行WordCountTopology

我已经和Storm一起工作了一段时间,但是想要开始开发。正如所建议的那样,我使用IntelliJ(到目前为止,我使用的是Eclipse,并且只针对Java API编写拓扑)。一世 ...

回答 2 投票 6

无法将StormCrawler连接到安全的Elasticsearch

我收到以下错误noNodeAvailableException [没有配置的节点可用:[{#transport#-1} {buKSP622TFWnQm_2-PxqQg} {xxxxxxxx} {10.240.49.79:2309}]] org.elasticsearch.client ... 。

回答 1 投票 0

Apache风暴实时滑动窗口

我使用Apache Storm的滑动窗口技术来获取24小时窗口长度和1小时滑动间隔长度的数据。当第一个TupleWindow到达时,每个元组的聚合过程开始......

回答 1 投票 0

在我的程序中,在执行SimpleDateFormat.parse时间歇性地获得ParseException

在我的程序中,我在执行SimpleDateFormat.parse时间歇性地得到ParseException。我写了一个apache storm bolt,因为我正在解析输入日期“2018-02-26 18:13:32 UTC”。 ...

回答 2 投票 2

不同主题使用相同的偏移值

我们的拓扑使用KafkaSpout从kafka主题获取消息。我们有大约150个主题,包括12个分区,8个风暴执行器和2个风暴节点上的任务。风暴版1.0.5,Kafka经纪人10.0版....

回答 1 投票 1

我怎么能停止KafkaSpout?

我有一个拓扑,使用KafkaSpout从Kafka读取,然后在rest api中进行POST。问题是API有一些维护周期,所以它在一段时间内不可用,...

回答 1 投票 0

在Storm 0.10.0上,即使我设置workers = 1,也会启动2个工作进程,并且UI报告worker = 1

我有一个风暴拓扑,我这样做:setNumWorkers(1);当我查看关于此运行拓扑的风暴UI报告时,我看到Num worker设置为1.但是,当我登录运行...的节点时

回答 1 投票 1

运行10天后,我的风暴拓扑失败了

运行10天后,我的风暴拓扑失败,当我使用新名称部署相同的拓扑(相同的JAR)时,它运行得很好,直到日期为止,所以我的问题是为...分配了哪些新资源...

回答 1 投票 0

Spout完成后杀死Storm拓扑

我创建了一个带有Spout的Storm拓扑,它发出了许多用于基准测试的元组。一旦从喷口发出所有元组或者不再有任何元组,我想停止/终止我的拓扑...

回答 1 投票 0

如何阻止Apache Storm Nimbus,UI和Supervisor?

我在集群中运行Apache Storm,我正在寻找停止和/或重启Nimbus,Supervisor和UI的方法。写一个服务会有帮助吗?我应该在这个服务文件中写什么,我应该在哪里......

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.