Apache Kafka Connect是Apache Kafka与其他数据系统之间可扩展且可靠的流数据的工具。 - https://kafka.apache.org/documentation.html#connect
我正在使用kafka 0.11。我在kafka-streams-0.11.0.0.jar中找不到StoreBuilder类。知道这是什么问题吗?
我尝试连接到几个数据库,包括MySQL和MSSQL,我没有问题。但是,当我试图连接到某个远程MySQL数据库时(可以只访问我公司的...
我目前正在研究Kafka Connect将我们的一些数据库传输到数据湖。为了测试Kafka Connect我已经在我们的项目数据库之一设置了一个数据库。到目前为止一切都很好。下一个 ...
Kafka-connect sink任务忽略文件偏移存储属性
使用Confluent JDBC连接器时,我遇到了很奇怪的行为。我很确定它与Confluent堆栈无关,而是与Kafka-connect框架本身无关。所以,我定义偏移....
我有一个使用kafka connect的生产者,它使用Confluent Kafka Connect API,它以“SourceRecord”格式发布消息,其中包含“schema”和“struct”,如下所示。我正在寻找......
我想在Apache Kafka中创建实时数据管道。我有位于远程位置的数据库,该数据库不断更新。 Kafka连接API的任何人都可以使用...
我正在尝试用Kafka HDFS Sink编写JSON。我有以下属性(connect-standalone.properties):key.converter.schemas.enable = false value.converter.schemas.enable = false schemas ....
S3连接器与Kafka连接,用于将数据从内部部署流式传输到云端
我想使用Kafka将数据从内部部署流式传输到云端(S3)。我需要在源机器上和云上使用kafka。但我不想在云端进行调整。我需要一些S3连接器......
我试图通过从存储在s3中的Avro数据中提取模式来创建一个配置单元表。使用s3 Kafka连接器将数据存储在s3中。我正在向制作人发布一个简单的POJO。 ...
我是卡夫卡的初学者。在这里,我试图在卡夫卡建立实时数据管道。我有远程位于的数据库。我真的不明白如何访问数据库和数据库...
在Windows 7上运行kafka connect的步骤?
我可以像上面提到的那样在Windows 7上设置和运行kafka,请你帮我解决在windows上运行mq-connector或其他连接器jar的步骤。提前致谢
我是Kafka connect的新手。我有一个像下面这样的用例:有一个共享的主题,我得到不同实体的消息,比如员工,部门(实际的表名不同)......
Kafka连接器异常错误无法向端点发送HTTP请求:http:// localhost:8081 / subjects / jdbc-source-accounts-value / versions
我使用Confluent Platform 3.3作为Kafka连接器,同时使用以下命令启动连接器./bin/connect-standalone ./etc/schema-registry/connect-avro-standalone.properties ./etc / ...
偏移管理 - 查询模式下的Confluent JDBC Connector
根据汇合文档,当我们使用查询模式时,我们必须进行偏移管理。根据我的理解,我们需要跟踪上次更新的时间戳并将其传递给...
汇总的kafka到s3连接失败,出现ERROR线程中的意外异常[KafkaBasedLog工作线程 -
我在EC2上设置了从kafka读取并写入S3的汇合(4.0)连接器。独立尝试顺利:bin / connect-standalone等/ standalone / example-connect-worker.properties etc / ...
我们需要使用JDBC Connector从RDBMS读取数据,然后在将数据推送到Kafka之前使用我们的自定义加密。并在解决方案中解密数据,然后将其推送到...
我正在尝试轮询temp的文件大小。从Kafka主题写入HDFS的avro文件,但是org.apache.hadoop.fs.FileStatus保持返回0字节(.getLen()),而编写器是......
我正在使用PostgreSQL。在我的表格数字列中定义如下:“net_weight”numeric(19,2)但是在Kafka中,我收到的不是十进制数字(例如14.0)我得到类似“E4g =”的东西......
连接器的任务状态因错误而失败:org.apache.kafka.connect.errors.ConnectException:java.lang.NoClassDefFoundError我在分布式模式下运行kafka connect cluster而我...
我正在将流媒体应用程序从水槽移动到kafka。我需要帮助,因为我是卡夫卡的新手。我有一台Windows机器,在某个特定位置由物联网传感器不断生成CSV文件......