avro 相关问题

Flume + Kafka + HDFS：消息分割

我有以下 Flume 代理配置来从 kafka 源读取消息并将其写回 HDFS 接收器 tier1.sources = 源1 第 1 层.channels = 通道 1 tier1.sinks = 水槽1 1 级。

如何验证 Avro 架构文件的格式以查看其是否符合 Apache Avro 规范

我们的系统必须处理 Avro 模式。在将 Avro 架构文件发送到服务器之前，我想验证提交的架构文件的格式，看看它是否符合 Apache Avro 规范...

使用 Strimzi 与 KafkaConnect 中的 Azure 事件中心关联的架构注册表问题

我正在尝试以 Avro 格式序列化发送到 Azure 事件中心的有效负载值。我正在使用 Strimzi 将 KafkaConnect 部署到 Kubernetes，并使用 Event Hub 作为代理来代替本机 Ka...

转换器插件无法识别 Avro 序列化的类，使用 Strimzi 部署 KafkaConnect 容器

背景： 我想使用 Strimzi 实现有效负载值的 Avro 序列化。尽管将所需的插件加载到 Strimzi KafkaConnect YAML，我还是遇到了找不到类的错误

Pyspark Avro 写入错误 SQLConf$LegacyBehaviorPolicy

我正在尝试将数据写入 PySpark，但它给了我一个错误： 我的代码是： 火花 = pyspark.sql.SparkSession.builder\ .master("本地[*]")\ .appName("MiAplicacionSpark")\ ...

数组联合的 Avro 架构问题

我在 Kafka 主题上注册的 AVRO 架构中使用以下定义 { "doc": "员工名单", “姓名”：“员工”， “类型”： [ &quo...

Avro Schema 发送到融合的 kafka 主题时面临的问题

我在 Kafka 主题上注册的 AVRO 架构中使用以下定义 { "doc": "员工名单", “姓名”：“员工”， “类型”： [ &quo...

如何使用 Avro Schema 配置 kafka 连接？

我已经开始学习Avro了。我想在kafka connect中实现它。我使用如下配置。这是正确的配置吗？ { "name": "调查Wawancara-conn...

有没有办法使用Go结构生成Avro模式文件？

我目前正在开发一个项目，需要从 Go 结构生成 Avro 模式文件。我想知道是否有任何现有的解决方案或库可以帮助我实现这一目标。 我...

使用 SSL 的 Kafka - 写入主题 - 授权错误

我正在尝试从命令行生成启用了 SSL 的本地 Kafka 集群上的主题。 主题刚刚创建： kafka-topics --zookeeper localhost:2181 --create --topic sim...

在记录级别使用 RDBMS 的二进制编码

所以，如果我理解正确的话，当我们想要更好的性能时，我们可以选择二进制格式（protobuf、thrift 或 avro），因为数据以更紧凑的方式表示，而且我们没有额外的

Avro Schema 中可选和可空之间的区别

我正在寻找 Avro Schema 中归档的可选和可空之间的区别。 有一种情况，我不希望该字段在为 Null 时出现在 avro 消息中。截至目前...

如何在 Spring Boot 应用程序中创建带有时间戳类型字段的 parquet 文件？

这是我当前的场景。 当某些事件发生时，我将事件详细信息记录在 aws rds mysql 数据库中。 事件类有 3 个字段。 私有字符串事件； 私有长EVENT_ID； 私人

Avro 1.12.0 不再允许嵌套记录重新定义

如果我有两个 avsc 文件，该插件将创建不同的记录对象，直到 1.12.0。但从这个版本开始，avro 插件会在 ParseContext.java 中抛出 Can't redefine 错误。 第一个架构： { ”

Azure Cost Exports - Java 中的 Parquet 格式解析

我已将天蓝色成本数据以 parquet 格式导出到存储帐户。解析该文件时，将数据输出为 GenericData$Fixed（以字节为单位）。我不知道如何获取原始值f...

FlinkSQL：访问kafka密钥

假设我想为我的 Flink SQL 使用 kafka 源...它由 aiven 管理。 我怎样才能访问消息的密钥？ 问题： 我正在生成有关源主题的消息，但有点...

Java 中的 XML XSD 到 AVRO avsc 映射

我有一个 XML 文件和 XSD 文件作为输入。理想的目标是基于 avro 架构 (avsc) 将 XML 数据序列化为 AVRO，然后反序列化回来。 XSD文件转换成POJO...

从 Azure 存储上的大型 avro 文件下载记录

我想从 Azure Gen2 存储帐户上的 avro 文件下载记录。文件本身太大，无法在本地处理。 当前的方法是由以下 Python 定义的

在sqoop导出中，Avro表在RDBMS中定义模式

我正在使用SQOOP将数据从HDFS加载到mySQL，在该数据中，一条记录有超过70个字段，使得在RDBMS中创建表时定义模式变得困难。 有没有办法...

BigQuery - Apache Avro 库无法解析标头，并出现以下错误：数据文件无效。魔法不匹配

我第一次弄乱 avro 文件。 我得到了很多带有编码数据的 csv 文件，并且刚刚对应该发送到 BigQuery 的数据进行了 python 处理。最后我得到了方案...