Lập trình 22/09/2026 5 phút

Nén + serialize: sự thật bất ngờ khi bạn gzip một JSON và một Protobuf

Protobuf nhỏ hơn JSON ~2 lần — ai cũng biết. Nhưng nếu bạn vốn đã gzip dữ liệu trước khi gửi thì sao? Bài này đo thật 1000 đơn hàng: JSON nén gzip xuống 11,6 lần, Protobuf chỉ 5,1 lần (vì đã gọn, ít phần lặp). Kết quả bất ngờ: JSON+gzip (33KB) không chỉ nhỏ hơn Protobuf thô (188KB) mà còn nhỏ hơn cả Protobuf+gzip — nén xóa gần hết lợi thế kích thước của Protobuf.

Lập trình 22/09/2026 6 phút

Tối ưu throughput producer Kafka: batch, linger và nén — khi lz4 vừa nhanh hơn vừa nhỏ 24 lần

Producer Kafka mặc định đã nhanh, nhưng chỉnh đúng ba núm là tăng gấp đôi. Bài này đo thật trong lab: gom batch 128KB + linger 10ms cho throughput 2,25 lần (118 lên 266 MB/s) và độ trễ còn thấp hơn; nén lz4 vừa nhanh hơn không nén vừa nhỏ 24 lần trên đĩa, zstd nén tới 58 lần (26MB còn 460KB). Và vì sao đẩy batch quá to lại phản tác dụng.

Lập trình 22/09/2026 9 phút

Nén Parquet hai tầng đo thật: encoding theo cột rồi codec byte, zstd nén còn 33,8 MB nhỏ hơn gzip 37,3 MB mà ghi nhanh hơn bảy lần (240 ms so với 1749 ms), và một cột mười giá trị lặp nhỏ hơn cột năm triệu giá trị duy nhất 417 lần nhờ dictionary

Parquet nén hai tầng: encoding theo cột (dictionary, RLE) giảm kích thước logic trước, rồi codec byte (snappy, gzip, zstd) nén nốt. Đo thật trong DuckDB 2.0 trên 5 triệu dòng: uncompressed 119,9 MB, snappy 71,1 MB, gzip 37,3 MB, zstd 33,8 MB; zstd nhỏ hơn gzip mà ghi nhanh hơn 7 lần (240 ms so với 1749 ms). Dictionary encoding: cột country 10 giá trị nén còn 0,01 MB so với cột id 5 triệu giá trị 4,88 MB, nhỏ hơn 417 lần. Phần lớn lợi ích đến từ tầng encoding, codec chỉ là lớp phủ.