Kafka là gì và không là gì
Ba nhóm tiêu thụ cùng đọc một tin mà không ai làm mất của ai. Và 493.421 tin mỗi giây đến từ gộp lô, không từ mỗi tin nhanh.
Message Queue
Theo dõi riêng chuyên mục này 6 bài viết
Dựng một broker và gửi tin đầu tiên
Khởi động 2 giây, chiếm 290 MB. Và một cái bẫy khi đo: công cụ dòng lệnh tốn 0,86 giây trong khi gửi tin thật chỉ mất 0,89 mili giây.
Topic, partition và offset
Bốn key vào bốn partition cho ra 5000/0/0/15000 — hai partition rỗng hoàn toàn. Đo cách Kafka thật sự xếp dữ liệu trên đĩa.
Producer: acks và độ bền
acks=0 chậm hơn acks=1 5%. Chỉ acks=all mới thật sự tốn — và đây là cái nửa thông lượng đó mua được.
Producer: gộp lô và nén
Gộp lô làm độ trễ giảm 1.567 lần chứ không tăng. Và nén trên dữ liệu ngẫu nhiên khiến tệp to hơn bản không nén.
Idempotent và ghi đúng một lần
Giao dịch bị huỷ vẫn nằm nguyên trên đĩa và vẫn chiếm offset. Hệ quả: consumer bắt kịp hoàn toàn vẫn hiện lag khác 0.