apache-storm 相关问题

Storm是一个分布式实时计算系统。类似于Hadoop如何提供一组用于进行批处理的通用基元,Storm提供了一组用于进行实时计算的通用基元。 Storm很简单,可以与任何编程语言一起使用

风暴螺栓跟随kafka螺栓

我有一个Storm拓扑,我必须将输出发送到kafka以及更新redis中的值。为此,我有一个Kafkabolt以及一个RedisBolt。下面是我的拓扑结构 - tp ....

回答 1 投票 0

Apache Storm Flux Kafka Spout Record Translator Exception

我正在使用storm flux 1.2.2来部署拓扑。我正在将记录翻译传递给KafkaSpoutConfig(参考 - > https://github.com/apache/storm/blob/master/flux/flux-examples/src/main/resources / ...

回答 1 投票 1

风暴没有从HDFS读取(HdfsSpout无法识别)

我使用的是风暴1.0.x但当我尝试使用下面的// Instantiate spout来读取文本文件时HdfsSpout textReaderSpout = newHdfsSpout()。setReaderType(“text”)...

回答 1 投票 0

在StormCrawler上获取拓扑以正确编写warc文件

在我的项目中,stormcrawler maven archetype似乎与warc模块不太搭配。目前,它只创建名为“crawl-20180802121925-00000.warc.gz”的空0字节文件。我......

回答 1 投票 0

具有WindowedBolt的Storm拓扑中的异常

我正在尝试运行具有Windowed Bolt的拓扑,但是获得以下异常:org.apache.storm.topology.WindowedBoltExecutor中的线程“main”java.lang.NullPointerException中的异常....

回答 1 投票 0

在Apache Storm中输入数据速率

我正在从文件中读取文本数据并使用apache storm处理它以产生结果。我想尝试不同的输入数据速率。我想知道,我将如何更改输入数据速率...

回答 1 投票 0

如何在保留矩阵尺寸的同时序列化numpy数组?

numpy.array.tostring似乎不保留有关矩阵维度的信息(请参阅此问题),要求用户发出对numpy.array.reshape的调用。有没有办法序列化numpy ......

回答 7 投票 31

动物园管理员为卡夫卡和风暴

我开发了一个项目,它从Kafka读取消息并在Storm中处理它。但是,除了将配置设置为port:2181之外,我没有对zookeeper做任何事情。有什么关于...

回答 1 投票 0

Apache Kafka和Apache Storm集成

KafkaSpout和KafkaBolt对象有什么区别?通常KafkaSpout用于从kafka生产者那里读取数据,但为什么我们使用KafkaBolt呢?

回答 1 投票 0

使用LocalCluster和StormSubmitter在Apache Storm中创建拓扑有什么区别?

提交者和群集之间是否有任何具体区别?当我使用LocalCluster时,它会创建自动yaml文件。但是,我想用我自己的设置设置这个yaml文件。

回答 1 投票 0

KafkaProducerTopology对象的Apache Storm Maven依赖项

导入的org.apache.storm.kafka.bolt.KafkaProducerTopology的Maven依赖是什么: org.apache.storm

回答 1 投票 0

风暴日志文件/文件目录:它在哪里?

我想更改风暴的日志文件目录和我自己的log(s)我正在使用localcluster,我编写了简单的代码并从ide(IntelliJ)运行它,它运行正常,并显示日志...

回答 1 投票 0

在风暴群集上提交拓扑时出错

在主管上的风暴群集上部署拓扑时出现以下错误。我无法找出确切的原因,因为主管能够找到拓扑但无法下载...

回答 1 投票 0

来自喷口的Storm Tick Tuple

我想配置我的spout在不同的流上发出2个不同频率的tick元组。我的问题如下:我理解如何使用螺栓完成这项工作。但是,在鲸鱼喷水时,......

回答 2 投票 1

将Apache Storm日志重定向到STDOUT

是否有可能使Apache Storm将日志写入STDOUT?我可以在worker和cluster xml文件中看到一些配置,但我不确定是否默认重定向到STDOUT还是需要一些...

回答 1 投票 0

Apache Storm中的Scheduler和Strategy之间有什么不同

我正在研究Apache Storm。我阅读了源代码&&开发人员文档&& JavaDoc &&其他有关Storm的有用博客。一个问题困扰了我很多。大多数文档和......

回答 1 投票 1

Storm kafka警告消息有多个任务比分区一些任务将空闲

我有风暴拓扑,使用KafkaSpout接收来自Kafka经纪人的消息。但我没有看到喷口处理任何消息。在工作日志中,我找到了以下代码段。风暴版-0.9.3 ......

回答 1 投票 0

从喷口杀死风暴拓扑

我们有一个用例,我们不希望连续运行风暴拓扑。相反,有一组输入(10K +)应该在指定的时间处理,Spout不断发出这些......

回答 1 投票 0

storm:bolt如何执行元组?

当execute()返回时,螺栓将由下一个元组执行?如果螺栓没有响应前一个元组会发生什么?换句话说,我们可以在execute()返回后确认元组吗?如果...

回答 1 投票 0

Apache Storm(Java):Bolt没有从其他Bolt接收元组

我正在使用这种拓扑结构使用Apache Storm:TopologyBuilder builder = new TopologyBuilder(); builder.setSpout(“socketspout”,new SocketSpout(IP_HOST,PORT)); builder.setBolt(” ...

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.