Apache Kafka是一个分布式流媒体平台,用于存储和处理高吞吐量数据流。
我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗? { "name": "调查Wawancara-conn...
我正在尝试将写入Kafka主题的数据加载到Postgres表中。我可以看到该主题每秒都在接收新消息,而且数据看起来不错。 然而,当我使用 b...
我想从容器 A 生成消息到容器 B 中的 Kafka 主题,但我在这些容器的网络方面遇到了一些奇怪的问题。 你知道我该怎么做吗
在 ReadyAPI 中模拟 Kafka 消费者(通过 AVRO 的 JSON)时,如何检查具有特定“密钥”的消息是否恰好到达一次
我需要订阅 Kafka 中的一个主题,并检查带有特定“密钥”的特定消息是否恰好到达该主题一次。 带有 JSONPath 表达式 $['key'] 和
我正在尝试在本地设置 KSQLDB 并将其连接到在 upstash 上运行的远程 kafka 服务器。但是,配置凭据后,我无法连接到 kafka 服务器。 我安装了 KSQLDB...
具有混合 Kafka 和本机事件中心生产者客户端的事件中心的分区选择
我使用事件中心来代理从使用 C# 客户端的系统发布的事件。我还使用 Databricks 中的 Kafka 客户端将事件发布到同一中心。顺序很重要,所以我
我有很好的使用 kafka 和 python 使用融合的 kafka 库的经验。最近我不得不转向 golang 并使用 sarama 库。 我不明白 ConsumerG 是如何...
以 JSON 格式将数据从 Kafka Topic 推送到 PostgreSQL
更新后出错 [2019-07-29 12:52:23,301] INFO 使用 SQL 方言初始化编写器:PostgreSqlDatabaseDialect (io.confluence.connect.jdbc.sink.JdbcSinkTask:57) [2019-07-29 12:52:23,303] 信息
如何将数据从本地安装的 SQL Server 流式传输到融合云上的 Kafka 主题,而无需在本地计算机中安装 Kafka
SQL Server 数据库位于本地系统 Kafka在Confluence云中配置 本机操作系统为Windows 10 有没有办法在本地机器上不安装Apache Kafka...
我对使用 Kafka 和 elasticsearch 很陌生。我一直在尝试使用弹性搜索,但遇到了一些问题。我已经创建了一个 docker compose 文件,其中包含构建环境所需的所有图像......
我正在尝试在spark编码中创建kafka消费者,在创建时我遇到了异常。我的目标是我必须从主题中读取内容并需要写入HDFS路径。 scala> df2.printSchema(...
按需运行 Source Connector,而不是基于 poll.interval.ms
我有一个每天更新一次/两次的表,但我希望在表更新后立即将数据推送到Kafka。 是否可以避免每次 poll.interv 都运行连接器...
我想使用 Confluence 接收器连接器来更新远程服务器上的 Postgres 数据库。 平均每天我们可能会收到 1000-2000 条消息(更新)。 创建数百个 s... 是否“合法”?
我是这里的初学者。我使用 kafka 消费者从 kafka 主题读取数据。该数据位于 ide 的控制台或本地计算机上。 现在我必须将这些数据推送到红移中。 如何做到这一点....
我正在使用 compose 文件在 Logstash 和 Kafka 之间创建数据管道。但此消息显示在logstash 容器中。有人可以帮我吗? 消息: [警告][org.apache.kafka.clients。
我正在使用合流的kafka docker confluenceinc/cp-服务器:5.4.0 我正在从 postgresql 生成数据。 当我创建一个消费者并想要检索kafka消息时,它以如下格式出现...
如何使用 CDC 方法使用 azur SQL 配置融合的 kafka?
最主要的是我想使用CDC方法将Azur SQL连接到汇合的kafka,然后我想将该数据导入s3。
Kafka Elasticsearch 接收器连接器:连接错误
我是使用 Kafka 和 Kafka 连接器的新手。我一直在尝试使用 Elastic Search 作为接收器,使用 Kafka 连接器从我的应用程序传输数据。我能够在 Kafka 中看到消息,b...
我尝试使用以下代码通过 KSQL 将数据推送到 Kafka 主题: 创建流测试01(KEY_COL VARCHAR KEY、COL1 INT、COL2 VARCHAR) with (KAFKA_TOPIC='test01', PARTITIONS=1, VALUE_FORMAT...
无法通过Kafka、JDBC源连接器和pyspark获取正确格式的postgres数据
我在Postgres中创建了一个表: 如果不存在则创建表 public.sample_a ( id 文本 COLLATE pg_catalog."default" NOT NULL, is_active 布尔值 NOT NULL, is_deleted 布尔值 ...