apache-kafka-connect 相关问题

Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect

找不到kafka StoreBuilder类

我正在使用kafka 0.11。我在kafka-streams-0.11.0.0.jar中找不到StoreBuilder类。知道这是什么问题吗?

回答 1 投票 0

汇总:加载连接器后未创建主题

我尝试连接到几个数据库,包括MySQL和MSSQL,我没有问题。但是,当我试图连接到某个远程MySQL数据库时(可以只访问我公司的...

回答 1 投票 3

Kafka在MSSQL中连接多个表

我目前正在研究Kafka Connect将我们的一些数据库传输到数据湖。为了测试Kafka Connect我已经在我们的项目数据库之一设置了一个数据库。到目前为止一切都很好。下一个 ...

回答 1 投票 0

Kafka-connect sink任务忽略文件偏移存储属性

使用Confluent JDBC连接器时,我遇到了很奇怪的行为。我很确定它与Confluent堆栈无关,而是与Kafka-connect框架本身无关。所以,我定义偏移....

回答 2 投票 10

Kafka在scala中连接avro消费者

我有一个使用kafka connect的生产者,它使用Confluent Kafka Connect API,它以“SourceRecord”格式发布消息,其中包含“schema”和“struct”,如下所示。我正在寻找......

回答 1 投票 0

如何从Apache Kafka中的远程数据库中提取数据?

我想在Apache Kafka中创建实时数据管道。我有位于远程位置的数据库,该数据库不断更新。 Kafka连接API的任何人都可以使用...

回答 2 投票 0

Kafka Sink HDFS无法识别的令牌

我正在尝试用Kafka HDFS Sink编写JSON。我有以下属性(connect-standalone.properties):key.converter.schemas.enable = false value.converter.schemas.enable = false schemas ....

回答 1 投票 0

S3连接器与Kafka连接,用于将数据从内部部署流式传输到云端

我想使用Kafka将数据从内部部署流式传输到云端(S3)。我需要在源机器上和云上使用kafka。但我不想在云端进行调整。我需要一些S3连接器......

回答 2 投票 2

从avro架构创建hive表时出错

我试图通过从存储在s3中的Avro数据中提取模式来创建一个配置单元表。使用s3 Kafka连接器将数据存储在s3中。我正在向制作人发布一个简单的POJO。 ...

回答 1 投票 0

如何在Apache Kafka中访问远程数据库?

我是卡夫卡的初学者。在这里,我试图在卡夫卡建立实时数据管道。我有远程位于的数据库。我真的不明白如何访问数据库和数据库...

回答 1 投票 -1

在Windows 7上运行kafka connect的步骤?

我可以像上面提到的那样在Windows 7上设置和运行kafka,请你帮我解决在windows上运行mq-connector或其他连接器jar的步骤。提前致谢

回答 1 投票 0

Kafka connect:基于模式将单个主题接收到多个表

我是Kafka connect的新手。我有一个像下面这样的用例:有一个共享的主题,我得到不同实体的消息,比如员工,部门(实际的表名不同)......

回答 1 投票 0

Kafka连接器异常错误无法向端点发送HTTP请求:http:// localhost:8081 / subjects / jdbc-source-accounts-value / versions

我使用Confluent Platform 3.3作为Kafka连接器,同时使用以下命令启动连接器./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc / ...

回答 1 投票 0

偏移管理 - 查询模式下的Confluent JDBC Connector

根据汇合文档,当我们使用查询模式时,我们必须进行偏移管理。根据我的理解,我们需要跟踪上次更新的时间戳并将其传递给...

回答 1 投票 0

汇总的kafka到s3连接失败,出现ERROR线程中的意外异常[KafkaBasedLog工作线程 -

我在EC2上设置了从kafka读取并写入S3的汇合(4.0)连接器。独立尝试顺利:bin / connect-standalone等/ standalone / example-connect-worker.properties etc / ...

回答 1 投票 1

如何将JDBC连接器与自定义加密一起使用

我们需要使用JDBC Connector从RDBMS读取数据,然后在将数据推送到Kafka之前使用我们的自定义加密。并在解决方案中解密数据,然后将其推送到...

回答 1 投票 0

在HDFS上仍然打开编写器时获取文件大小

我正在尝试轮询temp的文件大小。从Kafka主题写入HDFS的avro文件,但是org.apache.hadoop.fs.FileStatus保持返回0字节(.getLen()),而编写器是......

回答 1 投票 0

Debezium Kafka连接。十进制模式错误

我正在使用PostgreSQL。在我的表格数字列中定义如下:“net_weight”numeric(19,2)但是在Kafka中,我收到的不是十进制数字(例如14.0)我得到类似“E4g =”的东西......

回答 1 投票 0

连接器任务状态无法连接

连接器的任务状态因错误而失败:org.apache.kafka.connect.errors.ConnectException:java.lang.NoClassDefFoundError我在分布式模式下运行kafka connect cluster而我...

回答 1 投票 0

流式传输文件夹中的文件

我正在将流媒体应用程序从水槽移动到kafka。我需要帮助,因为我是卡夫卡的新手。我有一台Windows机器,在某个特定位置由物联网传感器不断生成CSV文件......

回答 2 投票 0

© www.soinside.com 2019 - 2024. All rights reserved.