Kiến trúc hệ thống 22/09/2026 5 phút

Kafka và log phân tán: chạy THẬT và đo 1,25 triệu message/giây trên một broker

Kafka ghi xuống đĩa mà vẫn ingest hàng triệu message/giây. Bí quyết là một lựa chọn cấu trúc: log chỉ-thêm-vào-cuối biến mọi ghi thành tuần tự, cộng page cache và zero-copy. Bài này chạy THẬT Kafka 3.8 và đo bằng chính công cụ perf của Kafka: producer 1.253.132 records/giây (119,51 MB/s), consumer 1.139.211 msg/giây.

Lập trình 22/09/2026 9 phút

OverlayFS đo thật: rootfs của container là ba lớp lowerdir, upperdir, workdir, ba container cùng image chia sẻ lớp chỉ đọc nên mỗi cái chỉ thêm 4 kB, nhưng ghi một byte vào file 50 MB của image tốn nguyên 50 MB vì copy-on-write ở mức file

rootfs của container không phải một đĩa mà là mount overlay ghép từ lowerdir (các lớp image, chỉ đọc, dùng chung), upperdir (lớp ghi riêng) và workdir. Ba container từ cùng debian:12 mỗi cái chỉ thêm 4,1 kB vì image 155 MB được chia sẻ một lần. Ghi file mới 30 MB chỉ cộng 30 MB vào upperdir. Nhưng copy-on-write ở mức file: ghi một byte vào file 50 MB có sẵn trong image copy cả file lên upperdir, lớp ghi riêng phình từ 4,1 kB lên 52,4 MB. docker diff cho C với file copy-up và A với file mới. Lớp ghi của container là tạm, mất khi container bị xoá, nên dữ liệu cần giữ phải để trong volume.