Lập trình 22/09/2026 7 phút

Serialization và tiến hoá schema trong Kafka: vì sao Avro nhỏ hơn JSON 2,4 lần và không làm vỡ consumer

Kafka chỉ chuyển byte — cách bạn mã hoá message quyết định băng thông, dung lượng và cả khả năng nâng cấp hệ thống. Bài này đo thật trong go-lab: cùng một bản ghi, JSON 88 byte, gob 115 byte, Avro chỉ 36 byte. Rồi chứng minh schema evolution bằng Avro resolution: thêm field có default đọc được dữ liệu cũ (channel lấy web), nhưng đổi kiểu double sang string bị từ chối ngay. Hiểu vì sao Schema Registry là bắt buộc khi nhiều team dùng chung topic.

Lập trình 22/09/2026 6 phút

Tiến hoá schema Protobuf: vì sao field number là bất biến, và unknown field cứu dữ liệu qua tay service cũ

Protobuf nhận diện field bằng SỐ chứ không bằng tên — hiểu điều này là hiểu toàn bộ quy tắc tiến hoá schema. Bài này đo thật trong go-lab ba kịch bản: V1 ghi, V2 (thêm field) đọc được, field mới lấy default; V2 ghi có email, service V1 cũ đọc không thấy nhưng GIỮ LẠI email qua round-trip nhờ unknown field; và đổi field number khiến amount biến mất hoàn toàn. Rút ra luật quan trọng nhất của Protobuf.

Lập trình 22/09/2026 8 phút

Schema và metadata Parquet đo thật: mỗi file kết thúc bằng footer mô tả cột, kiểu và thống kê, nên đọc metadata chỉ mất 0,69 ms so với 30 ms đọc dữ liệu (rẻ hơn 43 lần), schema là cây lưu được struct và list, và thêm cột không cần viết lại file cũ

Mỗi file Parquet kết thúc bằng footer metadata mô tả schema, kiểu dữ liệu và thống kê, đọc trước khi chạm dữ liệu. Đo thật trong DuckDB 2.0 trên 10 triệu dòng: đọc parquet_file_metadata mất 0,69 ms và parquet_schema 0,75 ms, so với 30 ms đọc dữ liệu, rẻ hơn 43 lần. Schema là một cây lưu được kiểu lồng nhau: struct addr có nhánh con city và zip, list tags có element. Schema evolution: ghi v1 hai cột và v2 ba cột, đọc cả hai với union_by_name thì dòng từ file cũ có cột thiếu bằng NULL, file cũ không bị viết lại.