Parquet 示例文件

Apache Parquet 是一种列式(columnar)数据存储格式,是数据工程的标准:Spark、Pandas、DuckDB、BigQuery。下面是不同模式、类型和压缩选项的 .parquet 示例文件,可供下载

示例文件:简单 Parquet:5 行,基本类型
简单 Parquet:5 行,基本类型
1.2 Kb
示例文件:用户:1000 行,真实数据集
用户:1000 行,真实数据集
35 Kb
示例文件:所有数据类型:int、float、bool、string、binary、date、timestamp、decimal
所有数据类型:int、float、bool、string、binary、date、timestamp、decimal
4.2 Kb
示例文件:嵌套数据:struct 列和列表(list)
嵌套数据:struct 列和列表(list)
2.5 Kb
示例文件:大型 Parquet:500 000 行(约 5 MB)
大型 Parquet:500 000 行(约 5 MB)
4.9 Mb
示例文件:空 Parquet:有模式无行
空 Parquet:有模式无行
621 字节
示例文件:gzip 压缩:20 000 行
gzip 压缩:20 000 行
308 Kb
示例文件:无压缩:相同的 20 000 行(uncompressed)
无压缩:相同的 20 000 行(uncompressed)
1.4 Mb

🧠 Parquet 的工作原理

Parquet 按列存储数据,而非按行。同一列的值相邻存放,因此压缩更好且可选择性读取——只需读取所需的列。文件被划分为 row groups,末尾的 footer 保存模式和统计信息(min/max),以便快速跳过数据块。

📊 行 × 列 📑 列式 按列存放数据 🗜️ 编码 + 压缩 📦 row groups + footer 💾 .parquet 完成的文件