apache-kafka 相关问题

Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。

如何使用 Avro Schema 配置 kafka 连接?

我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗? { "name": "调查Wawancara-conn...

回答 1 投票 0

无法将写入的kafka主题中的数据推送到Postgres表

我正在尝试将写入Kafka主题的数据加载到Postgres表中。我可以看到该主题每秒都在接收新消息,而且数据看起来不错。 然而,当我使用 b...

回答 1 投票 0

Docker 容器网络 - Kafka Producer

我想从容器 A 生成消息到容器 B 中的 Kafka 主题,但我在这些容器的网络方面遇到了一些奇怪的问题。 你知道我该怎么做吗

回答 1 投票 0

在 ReadyAPI 中模拟 Kafka 消费者(通过 AVRO 的 JSON)时,如何检查具有特定“密钥”的消息是否恰好到达一次

我需要订阅 Kafka 中的一个主题,并检查带有特定“密钥”的特定消息是否恰好到达该主题一次。 带有 JSONPath 表达式 $['key'] 和

回答 1 投票 0

使用远程 Kafka 集群在本地设置 KSQLDB 的问题

我正在尝试在本地设置 KSQLDB 并将其连接到在 upstash 上运行的远程 kafka 服务器。但是,配置凭据后,我无法连接到 kafka 服务器。 我安装了 KSQLDB...

回答 1 投票 0

具有混合 Kafka 和本机事件中心生产者客户端的事件中心的分区选择

我使用事件中心来代理从使用 C# 客户端的系统发布的事件。我还使用 Databricks 中的 Kafka 客户端将事件发布到同一中心。顺序很重要,所以我

回答 1 投票 0

Sarama Kafka ConsumerGroup 实现

我有很好的使用 kafka 和 python 使用融合的 kafka 库的经验。最近我不得不转向 golang 并使用 sarama 库。 我不明白 ConsumerG 是如何...

回答 1 投票 0

以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL

更新后出错 [2019-07-29 12:52:23,301] INFO 使用 SQL 方言初始化编写器:PostgreSqlDatabaseDialect (io.confluence.connect.jdbc.sink.JdbcSinkTask:57) [2019-07-29 12:52:23,303] 信息

回答 2 投票 0

如何将数据从本地安装的 SQL Server 流式传输到融合云上的 Kafka 主题,而无需在本地计算机中安装 Kafka

SQL Server 数据库位于本地系统 Kafka在Confluence云中配置 本机操作系统为Windows 10 有没有办法在本地机器上不安装Apache Kafka...

回答 1 投票 0

使用python连接kafka和elasticsearch

我对使用 Kafka 和 elasticsearch 很陌生。我一直在尝试使用弹性搜索,但遇到了一些问题。我已经创建了一个 docker compose 文件,其中包含构建环境所需的所有图像......

回答 1 投票 0

Kafka主题对象到spark数据帧转换并写入HDFS

我正在尝试在spark编码中创建kafka消费者,在创建时我遇到了异常。我的目标是我必须从主题中读取内容并需要写入HDFS路径。 scala> df2.printSchema(...

回答 1 投票 0

按需运行 Source Connector,而不是基于 poll.interval.ms

我有一个每天更新一次/两次的表,但我希望在表更新后立即将数据推送到Kafka。 是否可以避免每次 poll.interv 都运行连接器...

回答 1 投票 0

汇合水槽连接器 - 有多少就太多了

我想使用 Confluence 接收器连接器来更新远程服务器上的 Postgres 数据库。 平均每天我们可能会收到 1000-2000 条消息(更新)。 创建数百个 s... 是否“合法”?

回答 1 投票 0

使用java将数据插入RedShift[关闭]

我是这里的初学者。我使用 kafka 消费者从 kafka 主题读取数据。该数据位于 ide 的控制台或本地计算机上。 现在我必须将这些数据推送到红移中。 如何做到这一点....

回答 2 投票 0

无法通过撰写文件将Logstash连接到Kafka

我正在使用 compose 文件在 Logstash 和 Kafka 之间创建数据管道。但此消息显示在logstash 容器中。有人可以帮我吗? 消息: [警告][org.apache.kafka.clients。

回答 1 投票 0

从 Kafka docker 镜像中使用奇怪的数据

我正在使用合流的kafka docker confluenceinc/cp-服务器:5.4.0 我正在从 postgresql 生成数据。 当我创建一个消费者并想要检索kafka消息时,它以如下格式出现...

回答 2 投票 0

如何使用 CDC 方法使用 azur SQL 配置融合的 kafka?

最主要的是我想使用CDC方法将Azur SQL连接到汇合的kafka,然后我想将该数据导入s3。

回答 1 投票 0

Kafka Elasticsearch 接收器连接器:连接错误

我是使用 Kafka 和 Kafka 连接器的新手。我一直在尝试使用 Elastic Search 作为接收器,使用 Kafka 连接器从我的应用程序传输数据。我能够在 Kafka 中看到消息,b...

回答 1 投票 0

无法通过pyspark格式化kafka主题数据

我尝试使用以下代码通过 KSQL 将数据推送到 Kafka 主题: 创建流测试01(KEY_COL VARCHAR KEY、COL1 INT、COL2 VARCHAR) with (KAFKA_TOPIC='test01', PARTITIONS=1, VALUE_FORMAT...

回答 1 投票 0

无法通过Kafka、JDBC源连接器和pyspark获取正确格式的postgres数据

我在Postgres中创建了一个表: 如果不存在则创建表 public.sample_a ( id 文本 COLLATE pg_catalog."default" NOT NULL, is_active 布尔值 NOT NULL, is_deleted 布尔值 ...

回答 1 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.