Avro 示例文件

Apache Avro 是一种基于行(row-based)的数据序列化格式,模式直接内嵌在文件中。广泛用于 Kafka 和 Hadoop。下面是不同模式、类型和编解码器的 .avro 示例文件,可供下载

示例文件:简单 Avro:5 条记录,基本类型
简单 Avro:5 条记录,基本类型
349 字节
示例文件:用户:1000 条记录,真实数据集
用户:1000 条记录,真实数据集
49 Kb
示例文件:所有类型:primitive、enum、fixed、union、array、map、logical(date/timestamp)
所有类型:primitive、enum、fixed、union、array、map、logical(date/timestamp)
1.3 Kb
示例文件:嵌套数据:record 内嵌 record、array 和 map
嵌套数据:record 内嵌 record、array 和 map
571 字节
示例文件:大型 Avro:100 000 条记录(deflate 编解码器)
大型 Avro:100 000 条记录(deflate 编解码器)
735 Kb
示例文件:使用 deflate 编解码器:20 000 条记录
使用 deflate 编解码器:20 000 条记录
81 Kb
示例文件:空 Avro:仅模式,零记录
空 Avro:仅模式,零记录
179 字节

🧠 Avro 的工作原理

Avro 按行序列化数据,schema(JSON 格式)直接保存在文件头中——读取方始终知道结构,无需外部描述。记录被拆分成若干,每个块用编解码器压缩(nulldeflatesnappy)。该格式专为流式写入和模式演进而设计。

📄 JSON 模式 类型和字段 🗃️ header 模式在文件内 🧱 按行记录 数据块 🗜️ 编解码器 null / deflate / snappy 💾 .avro 完成的文件