Тестовые Parquet файлы

Apache Parquet — колоночный (columnar) формат хранения данных, стандарт в дата-инженерии: Spark, Pandas, DuckDB, BigQuery. Ниже — тестовые .parquet файлы разных схем, типов и вариантов сжатия для скачивания

Тестовый файл: Простой Parquet: 5 строк, базовые типы
Простой Parquet: 5 строк, базовые типы
1.2 Кб
Тестовый файл: Пользователи: 1000 строк, реалистичный датасет
Пользователи: 1000 строк, реалистичный датасет
35 Кб
Тестовый файл: Все типы данных: int, float, bool, string, binary, date, timestamp, decimal
Все типы данных: int, float, bool, string, binary, date, timestamp, decimal
4.2 Кб
Тестовый файл: Вложенные данные: struct-колонки и списки (list)
Вложенные данные: struct-колонки и списки (list)
2.5 Кб
Тестовый файл: Большой Parquet: 500 000 строк (~5 Мб)
Большой Parquet: 500 000 строк (~5 Мб)
4.9 Mb
Тестовый файл: Пустой Parquet: схема без строк
Пустой Parquet: схема без строк
621 bytes
Тестовый файл: Сжатие gzip: 20 000 строк
Сжатие gzip: 20 000 строк
308 Кб
Тестовый файл: Без сжатия: те же 20 000 строк (uncompressed)
Без сжатия: те же 20 000 строк (uncompressed)
1.4 Mb

🧠 Как устроен Parquet

Parquet хранит данные по столбцам, а не по строкам. Значения одного столбца лежат рядом, поэтому лучше сжимаются и читаются выборочно — можно поднять только нужные колонки. Файл делится на row groups, а footer в конце хранит схему и статистику (min/max) для быстрого пропуска блоков.

📊 Таблица строки × столбцы 📑 Колоночно данные по столбцам 🗜️ Кодирование + сжатие 📦 row groups + footer 💾 .parquet готовый файл