cdc 相关问题

CDC可以参考通信设备类(或USB CDC)。也可以参考Microsoft SQL Server中的更改数据捕获。也可以参考Java ME中的连接设备配置。

AndroidStudio USB:EXTRA_PERMISSION_GRANTED 返回 false - 始终

我想使用以下代码 (AndroidStudio Chipmunk) 将 USB CDC 设备(FTDI 芯片或 CD2010 或定制芯片)连接到我的 Galaxy A12 (Android SDK 30): 公共类 MainActivity 扩展

回答 2 投票 0

JDBC接收器连接器不能消耗删除操作,但可以消耗更新和删除(postgres)

我有一个源连接器和一个在docker上运行的接收器连接器。我已经构建了一个cdc,以允许从源数据库同步到接收数据库,这都是postgres。我得到了更新并插入工作得很好但是......

回答 1 投票 0

底层数据更改时的 Databricks DLT 和 CDC

我有一个 DLT,其中底层数据以 parquet 格式存储在 S3 中。该数据可能会被更新和附加。抛开 SCD 只看 CDC,我正在尝试找到 SQL 语法...

回答 1 投票 0

将 Hazelcast IMap 与数据库 postgres 同步

我正在使用 hazelcast jet 来捕获数据库更改。我有一个管道可以捕获数据库更改并更新 IMap: 管道 pipeline(StreamSource theDataBase, IMap 我正在使用 hazelcast jet 来捕获数据库更改。我有一个管道可以捕获数据库更改并更新 IMap: Pipeline pipeline(StreamSource<ChangeRecord> theDataBase, IMap<Long, String> myMap) { var pipeline = Pipeline.create(); pipeline.readFrom(theDataBase) .withoutTimestamps() .writeTo(CdcSinks.map(myMap, record -> Long.parseLong(Objects.requireNonNull(record.key()).toMap().get("id").toString()), record -> record.value().toJson())); return pipeline; } 我想做反向同步,即当地图发生变化时发出请求更新数据库中的记录。 我通过添加第二个管道尝试了这一点: Pipeline pipelineReversed(IMap<Long, String> myMap) { Pipeline p = Pipeline.create(); p.readFrom(Sources.mapJournal(myMap, START_FROM_CURRENT)) .withoutTimestamps() .writeTo(Sinks.jdbc("%some update query%", () -> { BaseDataSource dataSource = new PGXADataSource(); dataSource.setUrl("jdbc:postgresql://localhost:5432/my_db"); dataSource.setUser("postgres"); dataSource.setPassword("postgres"); dataSource.setDatabaseName("my_db"); return dataSource; }, (stmt, record) -> { // fill query params and execute })); return p; } 但是我得到了递归,地图和数据库不断地互相更新。我可以用这种方法避免递归吗?或者也许还有其他工具和最佳实践? 您应该使用 MapStoreAdapter,我怀疑您是否需要使用 Jet 来获取数据库更改,但话又说回来,我不知道您系统的架构。我会在这里阅读更多内容: https://docs.hazelcast.com/hazelcast/5.3/mapstore/working-with-external-data

回答 1 投票 0

Debezium 无法授权 Mongodb 分片

我创建了一个包含 2 个分片的 MongoDb 分片集群,其中一个分片位于另一台来宾计算机中。集群已启用授权。为了解决这个问题,我创建了一个超级用户......

回答 1 投票 0

为数据库中的多个表配置 debezium 连接器

我正在尝试为 MySQL 数据库中的多个表配置 Debezium 连接器(我在 MySQL 8.0 上使用 Debezium 1.4)。 我的公司在创建主题时需要遵循一个命名模式

回答 2 投票 0

给定两个 SQL Server 备份文件,生成更改数据集的最有效方法是什么?

我需要从仅提供数据库完整快照的供应商处获取数据,而不是推送更改或提供直接查询/API 访问。 所以供应商上传了一个 SQL Server b...

回答 1 投票 0

Streamsets Data Collector CDC 可以读取和写入多个表吗?

我有一个 MSSQL 数据库,其结构是通过 Postgres 数据库复制的。 我已在 MSSQL 中启用 CDC,并在 StreamSets Data Collector 中使用 SQL Server CDC Client 来侦听

回答 2 投票 0

PostgreSQL 在同一数据库内的模式之间复制数据

我们使用 Precisely CDC 将数据从 IBMi DB2 源系统复制到 AWS RDS PostgreSQL 数据库 (v16.1)。大量大数据存储在多个包含 100 多列的表中。目标...

回答 1 投票 0

如何在Java中使用cdc从s3读取文件?

我想从s3读取文件。此外,如果在存储桶中创建了新文件,那么应用程序就会知道更改并按照 cdc 的方式摄取它们。 如何使用 Java 来实现这一点?有没有可能……

回答 1 投票 0

来自 Postgresql 的行子集的增量 CDC

我有一个 postgresql 数据库,其中包含包含多租户数据的表。例子: 表顾客 客户ID 客户名称 第一的 客户A 第二 客户B 表 CustomerShoppingDet 项目名 客户 ID。 购买日期 ...

回答 1 投票 0

为过程或函数cdc.fn_cdc_get_all_changes_提供的参数数量不足

看似有效的代码,用于查询表中最新跟踪的更改字段: 声明 @Begin_LSN BINARY(10)、@End_LSN BINARY(10) SET @Begin_LSN = sys.fn_cdc_get_min_lsn('字段') 设置@End_LSN ...

回答 5 投票 0

串口读取延迟(并且字节丢失)

我有一个 Rasperry Pi 和一个 Raspberry Pi Pico 通过串行通信。 我在两者上都使用了 UART 引脚,通信方面一切都很好,除了某些环境......

回答 1 投票 0

无效的对象名称“cdc.fn_cdc_get_net_changes”和“cdc.fn_cdc_get_all_changes”

我想通过 SQL Server 中的 Azure 数据工厂中的查找活动捕获 CDC 表中的净更改。 我按照这个教程进行操作: 将数据从 Azure SQL 托管实例增量加载到...

回答 1 投票 0

两个CDC作业可以从一张表中提取数据吗?

我有一个源 MS SQL 数据库,其中包含一些我使用 CDC 进行复制的表。现在我有新的案例,需要将相同的表复制到不同的目的地。所以我最终得到了一个来源和多个......

回答 1 投票 0

在定期快照表上实现SCD类型2

目前我有一个非常大的表,其中有每个月的数据快照。 ID 其他 团队 时期 1 …… A 2020-04-30 1 …… A 2020-05-31 1 …… A 2020-06-30 1 …… A 2020-07-31 1 …… 乙

回答 2 投票 0

SQL Server 2012 更改数据捕获错误 14234

我在 SQL Server 2012 实例上设置更改数据捕获时遇到问题。每当我尝试在表上启用 CDC 时,都会收到以下错误: 消息 22832,级别 16,状态 1,程序

回答 6 投票 0

您的项目中使用了哪些数据库复制方法?如果您正在使用 CDC,它有什么用处以及面临哪些挑战?

这是大多数产品级别的 DBA/信息专家的问题。我需要针对尽可能多的不同数据库的解决方案。所以请提供复制我的详细信息...

回答 1 投票 0

cdc 打开时 ALTER SWITCH 失败

我有 SQL Server 2019 CU8。 DB 的 CDC 已打开。 奇怪,但是这个查询失败了 更改表 tblTemp 将分区 $partition.dateRangepfDay(@datefor) 切换到 tblM 分区 $partition.dateRang...

回答 1 投票 0

MySQL+Debezium+Kafka 主题(未创建主题)

使用以下属性 名称=mysql Connector.class=io.debezium.connector.mysql.MySqlConnector 数据库.主机名=localhost 数据库端口=3306 数据库.用户=root 数据库.密码=admin 数据库.serv...

回答 1 投票 0

最新问题
© www.soinside.com 2019 - 2025. All rights reserved.