avro 相关问题

Kafka 消息不可反序列化。如何调试

我有 kafka 主题，我可以在这些主题上以 avro 格式生成消息。 我使用架构注册表。 该代码非常基本，如下所示： // 地址更改为 localhost。 静止的 { 道具=新

avro::jsonEncoder 和 union

我在 data_avro.json 文件中有以下 avro 架构定义： [ { "命名空间": "my.data", “类型”：“记录”， "名称": "数据1&

如何以编程方式将 avro 架构转换为 asyncapi？

我现在想知道是否存在一个 cli 工具来将 avro 模式文件转换为 asyncapi 文件。 非常感谢提前

使用架构注册表对 avro 消息进行 Spring 云合约测试

我正在查看 spring 文档和 spring github，我可以看到一些非常基本的异步 kafka 消息传递（生产者和消费者）示例，它们通过 json 消息和 Kafka 主题进行通信，但是...

我如何使用Python远程读取AVRO服务器

我想用python读取AVRO文件， 当我在本地计算机上执行此操作时，效果很好（FastAvro）： 使用 open('/home/user/file.avro', 'rb') 作为 fo： avro_reader = 阅读器(fo) 记录在avro_reader中...

使用 pyspark 读取 avro 文件时提供架构

我正在尝试使用 pyspark 读取 avro 文件。我想在读取文件时提供我自己的架构。下面是示例代码。 json_schema = """ { "type": "记录...

如何强制maven在Kafka模式注册表中注册所有需要的avros模式？

我有 **Batch ** 模式，其中包含其他模式列表。这些模式在其他模式文件中声明，因此当我将 Batch 发布到 Kafka Schema 注册表时，仅注册 Batch 模式 inori...

如何将数据集<Row>转换为列表<GenericRecord>

想知道如何将Dataset转换为List。 我正在谈论： org.apache.avro.generic.GenericRecord org.apache.spark.sql.数据集 org.apache.spark.sql.Row 达...

在 Avro 架构中定义可空列表时遇到问题 - Pub/Sub Google Cloud

我在使用 Avro 架构验证和消息测试时遇到了一个令人费解的问题，特别是在 Google Cloud Pub/Sub 架构中。在我的架构中，我定义了自定义对象列表

Avro 解码给出 java.io.EOFException

我使用 Apache avro 架构和 Kafka 0.0.8V。我在生产者/消费者端使用相同的模式。架构中没有任何更改。但当我尝试消费

使用 avro 作为带有 kafka 模式注册表的关键主题

我和我的团队最近遇到了用于主题键的 Avro 架构问题。我们更改了对键的评论，这完全破坏了我们的 Kafka Streams 连接，也破坏了我们主题的压缩......

从 Java 类访问 avro 模式中的自定义属性

我有一些数据遵循下面给出的 avro 模式。我通过使用 avro-tools 实用程序编译该模式来生成 Java 类。然而，Java 类仅包含标准 getter ...

AVRO序列化异常UTF8\String

我在不同的服务上有一个kafka生产者和消费者，消费者代码已推出并且工作正常，然后今天我推出了生产者端的更改并得到了序列化异常他...

avro 动态嵌套映射 - 类似于 jsonschema 对象

在 jsonschema 中，您可以像这样定义对象的通用属性： { "description": "记录 HTTP 交换的原始请求和响应以用于调试目的。", &q...

如何使用 GenericRecord 在 Avro 中填充嵌套的嵌套记录

假设我有以下模式： { "姓名" : "个人资料", “类型”：“记录”， “字段”：[ {“名字”：“名字”，“...

如何在kafka生产者和消费者中重试短暂的Avro序列化/反序列化问题？

由于基础设施问题，我偶尔会看到从 avro 架构注册表获取架构超时。 我没有完整的堆栈跟踪，但典型的错误消息是： org.apache.kafka.common.

查找 AVRO 文件并将内容传递到 ADF 中的 Web 活动

我正在努力将 .AVRO 文件的特定内容正确传递到 Azure 数据工厂管道中的 Web 活动。 我有一个查找活动，查找 .AVRO 文件，然后存储输出。

Python 读取嵌入到 PCAP 中的 AVRO

我有一个 PCAP 文件，其中包含 AVRO 编码数据作为 TCP 数据包中的有效负载。出于测试目的，我已使用 xxd -r -p test.hex test.bin 将上述有效负载转换为二进制文件。 （迟到了……

无法反序列化 Avro 记录：获取 ArrayIndexOutOfBoundsException

我正在尝试使用 Pyflink 从 Kafka 读取 Avro 格式 我的程序是这样的： 从 pyflink.datastream 导入 StreamExecutionEnvironment 从 pyflink.datastream.connectors.kafka 导入

无法从avro主题生成依赖的java类

在我简单的 Maven 应用程序中，我有 3 个 avro 文件： 报告详细信息.avsc { “类型”：“记录”， "name": "报告详细信息", "命名空间": "com.vl...