avro 相关问题

Avro maven 插件无法重新定义类型

我在 quarkus 项目中使用 avro-maven-plugin： org.apache.avro avro-maven-插件 我在 quarkus 项目中使用 avro-maven-plugin： <plugin> <groupId>org.apache.avro</groupId> <artifactId>avro-maven-plugin</artifactId> <version>1.11.3</version> <configuration> ... </configuration> <executions> <execution> <phase>generate-sources</phase> <goals> <goal>schema</goal> </goals> <configuration> <includes> <include>**/*.avsc</include> </includes> <imports> <import>A.avsc</import> <import>B.avsc</import> </imports> </configuration> </execution> </executions> </plugin> 问题是关于插件中的导入部分。 文档说导入的文件不应互相引用，但在我的情况下，文件 A 和 B 都需要导入，并且 B 引用 A。 据我了解，这是不可能的并且失败： [错误] 无法在项目上执行目标 io.quarkus.platform:quarkus-maven-plugin:3.6.6:dev (default-cli) ：无法执行 mojo：目标 org.apache.avro:avro- 的执行为 null maven-plugin：1.11.3：架构失败：无法重新定义：-> [帮助 1] 有什么解决办法吗？ 看起来问题出在 quarkus maven 插件上。 当作为 quarkus:dev 的一部分运行此 Maven 任务时，构建失败， 但仅使用 Maven 运行它就可以了。 检查您是否使用 quarkus-maven-plugin 来实现 generate-code 目标。在这种情况下，使用 Maven 编译进行构建将起作用（正如您所描述的），因为只会使用您定义的插件和配置。将 quarkus:dev 与上述 generate-code 目标一起使用也将开始编译 Avro 文件，但没有导入配置，因为使用了另一个插件。 由于您使用的是 Quarkus，我建议使用他们的 Avro 模式生成方式。在这种情况下，您需要在 Quarkus 配置文件中的 avro.codegen.avsc.imports 下列出导入。更多信息在 有关调整 avro 代码生成的 Quarkus 文档 ;)

KafkaListener 反序列化到 Avro POJO 类时出现“Caused by: org.springframework.messaging.converter.MessageConversionException”

我正在使用 Spring Boot 构建一个 Kafka 监听器/消费者，它消耗来自主题的 Avro 数据。 这是一些属性 spring.kafka.properties.spec.avro.reader=true spring.kafka.consumer.

Avro、架构演化、向后兼容性

Avro 规范声明使用可选字段扩展架构是向后兼容的。不幸的是，它不适用于我们的二进制流，我不知道如何修复它。我有

在 Confluence Control Center UI 中生成 Avro 消息

要开发数据传输应用程序，我需要首先定义键/值 avro 模式。在定义 avro 模式之前，生产者应用程序尚未开发。 我克隆了一个主题及其键/值 avro

将 Java POJO 转换为 Avro GenericRecord 时出错

我正在尝试将Java POJO类转换为Avro格式，以使用KafkaAvroSerializer将数据发送到Kafka消息代理。 我在将 Java POJO 类转换为

“类 java.time.LocalDate 无法转换为类 java.lang.Number”，在 Avro 中保存时，逻辑类型为日期，类型为 int

我正在尝试在 parquet 输出中保存 Avro 中存在的具有日期逻辑类型的字段（它在使用 int 作为数据类型保存时有效，但在尝试保存为日期逻辑类型时给出错误...

Apache Avro 不会将 BigDecimal 打印到 parquet 文件中 错误：java.math.BigDecimal 无法转换为 java.nio.ByteBuffer

我需要使用Java8中的apache-avro库创建镶木地板文件。使用 Maven 生成资源从“.avsc”文件自动创建的 POJO。但我在 BigDecimal 方面遇到了麻烦...

Flink 无法解析 DataStream API 中 Debezium 写入 Kafka 的 Avro schema

似乎没有解决方案可以自动将 Confluence SchemaRegistry 的最新 schema 与 Kafka-topic 中的数据同步。因此，我通过从 Confluence Schema Regi 复制来手动添加架构...

如何在Pyspark中读取Avro文件？

如何在 Jupyter Notebook 上读取 Pyspark 中的 Avro 文件？！ 从 Spark 2.4 开始，Avro 是内置但外部的数据源模块。请按照“Apach...

如何读取Pyspark Jupiter笔记本中的Avro文件？

如何在 Jupyter Notebook 上读取 Pyspark 中的 Avro 文件？！ 从 Spark 2.4 开始，Avro 是内置但外部的数据源模块。请按照“Apach...

从数据文件解析 Avro 架构

由于 avro 中的数据文件嵌入了该架构，因此读者不希望保留单独的 .avsc 文件来指定架构。我正在寻找一个以这种方式工作的 java 示例...

Avro：C++ 库支持 local-timestamp-millis 吗？

问题的简单版本是：C++ Avro 库是否支持逻辑类型 local-timestamp-millis？ 更多细节： 我正在使用 Apache Avro C++ 库版本 1.11 并尝试创建...

在 avro 架构中使用“默认”

根据 Avro 文档中“默认”属性的定义：“此字段的默认值，在读取缺少此字段的实例时使用（可选）。” 这意味着如果相应的字段...

将 JsonObject 转换为 Avro schema 自动生成的 Java 对象

在我的代码中，我有： 导入 com.google.gson.JsonObject； 最终 JsonObject mdata = NiceService.nicemethod(); Nicemethod() 返回以下 JsonObject： { “顾客”： { ...

无法在 Avro Genericrecord 中分配数组。收到错误 - 找不到 System.Collections.Generic.List`1

我的 Avro 架构是 - {架构：{“类型”：“记录”，“名称”：“标题”，“命名空间”：“员工.schema”，“字段”：[{“名称”：“

如何在spark中将Avro Schema对象转换为StructType

我有一个 Row 类型的 RDD，即 RDD[Row] 和 avro 模式对象。我需要使用此信息创建一个数据框。 我需要将 avro 架构对象转换为 StructType 以创建 DataFrame。 你能...

Pubsub 到 BigQuery 订阅：架构修订导致 BigQuery 中出现空值

我面临着 pubsub 模式演变的问题，当我添加新字段时，它们的值最终在 BigQuery 中为空。我的项目结构如下。 发布订阅模式 { “命名空间”...

如何在 Kafka 连接中将微秒时间戳转换为毫秒？

使用 confluenceinc/kafka-connect-bigquery 从 Kafka 填充 BigQuery 时，我想使用域 (Avro) 事件的时间戳来（日）对表进行分区。 我的连接器属性...

avro-maven 插件 - 诱导目标期间出现 ClassNotFoundException

我在当前的项目中使用 Kafka 和 Avro，我决定升级我多年来的做事方式。 我总是从 AVDL 开始，因为我认为这是描述 ...

联合类型与数据类-avroschema 的序列化和反序列化不正确

我在 Python 中使用 dataclasses-avroschema 包进行 Avro 序列化时遇到了问题。当尝试使用联合类型序列化和反序列化数据类时