Một broker Kafka thật ra khởi động 2 giây, chiếm 290 MB — nhẹ hơn hẳn tiếng tăm của nó. Nhưng thứ khiến tôi dừng lại là một cái bẫy đo lường: công cụ dòng lệnh tốn 0,86 giây trong khi gửi tin thật chỉ mất 0,89 mili giây. Chênh nhau một nghìn lần, và rất nhiều người đo trúng cái sai.
Ba khái niệm topic–partition–offset thường được vẽ bằng hình hộp và mũi tên. Tôi mở thẳng thư mục dữ liệu trên đĩa ra xem, và vấp phải một cái bẫy về key mà không hình vẽ nào cho thấy: hai partition rỗng hoàn toàn, thêm partition cũng chẳng chữa.
Ai cũng bảo 'acks=0 nhanh nhất'. Tôi đo thì thấy nó còn chậm hơn acks=1 5%. Chỉ acks=all mới thật sự tốn — mất nửa thông lượng. Và đây là thứ nửa đó mua được: sự thật, đúng lúc cụm đang hỏng.
Ai cũng bảo gộp lô là 'đổi độ trễ lấy thông lượng'. Tôi đo thì thấy nó làm độ trễ giảm 1.567 lần, cùng lúc với thông lượng. Còn nén trên dữ liệu ngẫu nhiên lại cho ra tệp to hơn bản không nén — và đó chính là cái bẫy suýt khiến tôi kết luận ngược.
'Ghi đúng một lần' là cụm dễ hiểu sai nhất trong Kafka. Mở tệp log ra xem, tôi thấy giao dịch bị huỷ vẫn nằm nguyên trên đĩa và vẫn chiếm offset — đủ để một consumer đã bắt kịp hoàn toàn vẫn hiện lag khác 0 suốt đời.
Đo B-tree, BRIN và GiST trên bảng sự kiện 10 triệu dòng trong PostgreSQL: BRIN chỉ 32 kB, gần như miễn phí lúc ghi, nhưng nó đánh chỉ mục bố cục vật lý chứ không phải dữ liệu — xáo trộn thứ tự dòng là nó chậm 234 lần, và chết hoàn toàn trong im lặng.