Lập trình 22/09/2026 8 phút

Tổng kết sê-ri xử lý dữ liệu lớn: gom 11 phép đo thành một pipeline Parquet và DuckDB, cùng 10 triệu dòng đổi từ CSV thô sang Parquet tối ưu (zstd, sắp xếp theo cột lọc) cho file nhỏ hơn 6,8 lần và truy vấn nhanh hơn 44 lần mà không đổi logic

Bài tổng kết sê-ri xử lý dữ liệu lớn: gom 11 phép đo từ định dạng cột, nén, predicate pushdown, column projection, vectorized, join, aggregation, partitioning, spill tới metadata thành một pipeline và checklist. Đo end-to-end trên 10 triệu dòng: chuyển CSV thô sang Parquet tối ưu (nén zstd, sắp xếp theo cột hay lọc, row group vừa) cho file nhỏ hơn 6,8 lần (498 MB xuống 73 MB) và truy vấn lọc cộng tổng nhanh hơn 44 lần (410 ms xuống 9,3 ms), cộng dồn mọi kỹ thuật mà không đổi một dòng logic truy vấn. Dữ liệu lớn trên một máy không cần cụm.

Lập trình 22/09/2026 9 phút

Predicate pushdown đo thật: Parquet chia dữ liệu thành row group kèm min/max mỗi cột, nên lọc 1% trên cột đã sắp xếp chỉ đọc 2/100 row group (3,6 ms), còn trên cột xáo trộn phải đọc cả 100 khối (51,1 ms), nhanh hơn 14 lần nhờ dữ liệu được gom

Parquet chia dữ liệu thành row group, mỗi khối lưu min/max từng cột trong footer, nên truy vấn có điều kiện lọc bỏ qua được khối không giao với khoảng lọc. Đo thật trong DuckDB 2.0 trên 10 triệu dòng, 100 row group: lọc 1% dữ liệu trên cột sắp xếp tăng dần chỉ chạm 2/100 row group và mất 3,6 ms; cùng điều kiện trên cột xáo trộn chạm 100/100 row group và mất 51,1 ms, chậm hơn 14 lần. Pushdown chỉ nhìn min/max, cực rẻ, nhưng chỉ phát huy khi dữ liệu được gom theo cột lọc.

Lập trình 22/09/2026 8 phút

CRDT: đo thật ba bản sao tách mạng rồi gặp lại — G-Counter hội tụ đúng 30.000 sau 2 vòng, bộ đếm hợp nhất bằng max mất 20.000, và OR-Set tốn gấp 34 lần một tập thường

Ba bản sao Go đồng bộ kiểu anti-entropy qua HTTP, mỗi bản sao tăng bộ đếm 10.000 lần trong khi bản sao thứ ba bị cắt mạng. Nối lại: G-Counter hội tụ về đúng 30.000 ở cả ba sau 2 vòng đồng bộ và 1,3 ms; bộ đếm kiểu một số hợp nhất bằng max cho 10.000, mất 20.000 lần đếm; LWW-register giữ bản của đồng hồ nhanh nhất, cũng mất hai phần ba. Giỏ hàng OR-Set với thêm và xoá đồng thời ở hai bản sao hội tụ giống hệt nhau theo luật add-wins, kèm tombstone không bao giờ tự mất. Giá: OR-Set 1.000 phần tử chiếm 150,8 KB so với 4,4 KB của tập thuần, còn G-Counter chỉ 13 byte.

Lập trình 22/09/2026 11 phút

TLS termination ở đâu, đo thật: với keep-alive TLS trong app tốn thêm 0 µs đo được, hop qua proxy tốn gấp 3,7 lần CPU và cộng 0,12 ms, mã hoá lại 64 KB qua sidecar chậm gấp 6,5 lần, còn khi mỗi request là một kết nối mới thì proxy gom hết bắt tay

Bốn topology cùng một app Go: plaintext, TLS trong app, proxy kết thúc TLS rồi plaintext vào app, và proxy mã hoá lại. Keep-alive 64 kết nối 256 byte: app plaintext 31 µs CPU mỗi request, app TLS 29 µs, qua proxy thêm 110 µs ở proxy và p50 từ 0,35 lên 1,83 ms. Body 64 KB: TLS trong app thêm 22 µs, mã hoá lại qua proxy tốn 143 cộng 300 µs và p50 7,79 ms. Kết nối mới mỗi request: TLS trong app 353 µs, qua proxy app còn 52 µs vì bắt tay dồn về proxy. Một kết nối tuần tự: hop loopback cộng 0,12 ms; netem 1 ms RTT cho hop nội bộ đẩy p50 từ 0,21 lên 1,65 ms. Kèm ALPN h2 so với h1.

Lập trình 22/09/2026 8 phút

Sao lưu PostgreSQL đo thật: pg_dump và pg_basebackup trên cùng 613 MB — dump nén 69 MB mất 2,9 giây, basebackup 651 MB mất 0,9 giây, tải đang chạy giảm 9% đến 15%, và dump chụp lúc bắt đầu còn basebackup nhất quán lúc kết thúc

Hai kiểu sao lưu khác bản chất, đo trên một cơ sở dữ liệu 613 MB với pgbench và một bảng một triệu dòng md5. Sáu biến thể: pg_dump SQL thuần 407 MB trong 0,89 giây, custom nén 69 MB trong 2,92 giây, thư mục song song 4 tiến trình 2,33 giây; pg_basebackup thư mục 651 MB trong 0,89 giây, tar gzip 100 MB trong 6,1 giây. Dưới tải pgbench 8 client, dump làm TPS giảm 9%, basebackup gzip giảm 15%, không khoá bảng nào. Chèn 1.000 dòng trong lúc sao lưu: dump giữ 1.000 dòng lúc bắt đầu, basebackup giữ 1.200 dòng lúc kết thúc chép, và container mới khởi động từ bản basebackup trong 758 ms.

Lập trình 22/09/2026 11 phút

Chứng chỉ và chuỗi tin cậy đo thật: tự dựng CA rồi làm hỏng từng thứ, Go và curl chặn đủ 5 biến thể nhưng Go gộp ba lỗi vào một câu, lệch giờ 2 ngày biến chứng chỉ chưa hiệu lực thành hợp lệ, chuỗi RSA nặng 1.908 byte và bắt tay chậm gấp 2,5 lần

Dựng CA gốc, CA trung gian và chứng chỉ leaf bằng crypto/x509, rồi phục vụ 7 biến thể trên 7 cổng: đúng, thiếu intermediate, sai SAN, hết hạn, chưa hiệu lực, tự ký, và chuỗi RSA. Client Go, curl và openssl s_client cùng chặn đủ 5 biến thể hỏng, nhưng Go báo thiếu intermediate, tự ký và sai root bằng cùng một câu unknown authority, còn OpenSSL cho mã 20, 18, 20. Đẩy đồng hồ client lên 2 ngày thì chứng chỉ chưa hiệu lực được chấp nhận. Chuỗi ECDSA P-256 server gửi 860 byte, bắt tay p50 0,54 ms; chuỗi RSA 1.908 byte, 1,34 ms. Kèm cách đọc lỗi và việc phải làm khi copy nhầm file.