Тестовые Avro файлы

Apache Avro — строчный (row-based) формат сериализации данных со схемой, встроенной прямо в файл. Широко применяется с Kafka и Hadoop. Ниже — тестовые .avro файлы разных схем, типов и кодеков для скачивания

Тестовый файл: Простой Avro: 5 записей, базовые типы
Простой Avro: 5 записей, базовые типы
349 bytes
↓
Тестовый файл: Пользователи: 1000 записей, реалистичный датасет
Пользователи: 1000 записей, реалистичный датасет
49 Кб
↓
Тестовый файл: Все типы: primitive, enum, fixed, union, array, map, logical (date/timestamp)
Все типы: primitive, enum, fixed, union, array, map, logical (date/timestamp)
1.3 Кб
↓
Тестовый файл: Вложенные данные: record внутри record, array и map
Вложенные данные: record внутри record, array и map
571 bytes
↓
Тестовый файл: Большой Avro: 100 000 записей (кодек deflate)
Большой Avro: 100 000 записей (кодек deflate)
735 Кб
↓
Тестовый файл: С кодеком deflate: 20 000 записей
С кодеком deflate: 20 000 записей
81 Кб
↓
Тестовый файл: Пустой Avro: только схема, ноль записей
Пустой Avro: только схема, ноль записей
179 bytes
↓

🧠 Как устроен Avro

Avro сериализует данные по строкам, а schema (в формате JSON) хранится прямо в заголовке файла — читатель всегда знает структуру и не нуждается во внешнем описании. Записи бьются на блоки, каждый блок сжимается кодеком (null, deflate, snappy). Формат заточен под потоковую запись и эволюцию схемы.

📄 Схема JSON типы и поля 🗃️ header схема внутри файла 🧱 Записи по строкам блоки данных 🗜️ Кодек null / deflate / snappy 💾 .avro готовый файл