avro 相关问题

spark scala kafka avro 反序列化器

我正在使用来自kafka的流数据帧。 value 列中的数据采用 avro 格式。我想将数据反序列化为结构类型。 目前我已经编写了一个 udf 函数来调用该方法

Kafka 架构注册表在同一主题中不兼容

我使用Kafka模式注册表来生成/消费Kafka消息，例如我有两个字段，它们都是字符串类型，伪模式如下： {“名称”：“test1”，“类型”：“字符串”} {“

如何在 Python 中解码 Avro 消息？

我在用 Python (3.6.11) 解码 Avro 消息时遇到问题。我已经尝试过 avro 和 fastavro 软件包。所以我认为问题可能是我提供的字节不正确。 使用...

尝试使用pyflink获取数据时如何解决“avro.AvroRowDeserializationSchema在JVM中不存在”

Pyflink 从 kafka 生产者获取数据。当生产者以 json 格式发送数据时，JsonRowDeserializationSchema 工作正常，但是当我以 avro 格式发送数据时，AvroRowDeserializationSchema 会下降

Quarkus SmallRye Messaging Kafka Avro 原生编译失败

我正在将 SmallRye 反应式消息传递与 Kafka 结合使用，并使用 Confluence 注册表和 AVRO。 正如此博客中所述，它工作正常 https://quarkus.io/blog/kafka-avro/ 但它似乎不适用于本地

Kafka Connect 如何帮助将 Avro 持久保存到数据库？为什么这是一个很好的设计方法？

根据此堆栈，Kafka Connect 将有助于防止在发布到 Kafka 并将 avro 消息保存到数据库时执行“两步提交”，并且它遵循“r...

在 MemSQL 中解析嵌套数组中的嵌套数组

我正在尝试从 Avro 模式中提取数据并将数据插入到 MemSQL 中的数据库中。我有以下 Avro 架构 { "doc": "帮助您入门的示例架构。", ”

Kafka Avro Int 使用 apache Camel/groovy 进行日期转换

有 Avro int date formate 类似 “名称”：“出生日期”，“类型”：[“null”，“int”]，“默认”：null，“逻辑类型”：“日期”} 一个...

Kafka 生产者如何查找记录的 schema Id

在 Kafka 生产者中，我可以看到我们只需要指定模式注册表 url，而不是我想要的模式。因此，在序列化记录时，生产者如何决定使用哪个模式。因为模式注册...

无法将主题“testtopic”的数据反序列化到 Avro 以用于接收器连接器

这是接收器连接器属性 “名称”：“接收器-testtopic-crdb”， “配置”：{ “connector.class”：“io.confluence.connect.jdbc.JdbcSinkConnector”，...

Avro 架构更新，一个 avro 文件中包含两个架构

我有一个带有第一个架构的 avro 文件，然后我更新了附加到同一文件的架构。所以现在我在一个文件中有两个模式。 avro 如何处理这种情况。我会有什么新领域吗...

使用 AVRO 序列化的 Kafka 中的消息是否还包含 schema 版本？

我发现：Apache Kafka with Avro and Schema Repo - schema Id 在消息中的哪里？ 我很清楚，模式 ID 是生成到 Kafka 的每条消息的一部分。我找不到这个说法

如何在Python中使用联合类型创建Avro

我尝试在 Python 中将 JSON 文件转换为 Avro，需要注意的是该模式具有联合类型。更具体地说，在最小的非工作示例中，JSON 文件只是 {"field1": {&qu...

在 GCS 中读取 Avro 文件作为 PCollection<GenericRecord>

我们的 Dataflow 作业是用 Python 编写的，从 Pubsub 订阅中侦听。这些消息是 Avro 文件的 GCS 文件路径字符串 (gs://bucket/file-timestamp.avro)。 avro 文件不统一

如何将 JsonObject 转换为 Avro 通用记录？

我还是这个领域的新手，目前我正在尝试使用 Apache Beam 中的 ParDo 和 DoFn 反序列化 parquet 文件中的数据，对记录进行一些修改，然后更新

在架构注册表上使用 Avro 架构的 Kafka 主题上使用 C# 生成时，Python 无法使用

我们有 C# 代码在 Kafka 上生成记录并使用 Avro 模式，我们也可以通过 C# 消费相同的主题，但是当我们想在 Python 中消费它时，我们会收到以下错误： 留言

如何读取/更新嵌套 Avro 通用记录中的值？

我正在尝试使用 Apache Beam Pardo 访问 Avro Generic Record 中的嵌套字段。 我可以进入第一层，但我不知道如何访问更进一步的字段。 因为如果你...

在将 returns(TypeInformation) 应用到我的 avro 通用 DataStreamSource 之后，它什么都不打印，但没有错误

嗨 flink 用户/贡献者， 我在这里发帖是为了看看是否有任何更聪明的想法。 我正在使用 Flink 以 Avro Generic Records 格式使用 kafka 主题，使用通用记录反序列化器和

序列化 Apache Avro 通用记录使用模式到文件

我有一个代码，我试图将通用记录列表序列化为字节数组并最终将其写入文件，但得到一个 UnresolvedUnionException 下面列出的是源代码 公开

如何在不生成 POJO 类的情况下发送 avro 消息

我的应用程序应该能够接受任何对象。 接受对象后，我需要将消息发布到 kafka 主题。主题附加了架构。 我能够进行模式验证...