Lĩnh vực hạ tầng phân tích đang chứng kiến một cuộc tranh luận thú vị về hiệu quả chi phí và khả năng mở rộng, đặc biệt là trong việc xử lý sự kiện với khối lượng lớn. Các cuộc thảo luận gần đây trong cộng đồng đã làm nổi bật những tác động đáng kể về chi phí của các phương pháp tiếp cận khác nhau trong việc xử lý hàng triệu sự kiện mỗi ngày.
Bài toán Chi phí
Một cuộc thảo luận đáng chú ý trong cộng đồng lập trình viên đã cho thấy sự chênh lệch đáng kể về chi phí giữa các giải pháp đám mây truyền thống và các phương pháp mới như Trench. Ví dụ, việc sử dụng AWS S3 với Kinesis Firehose để xử lý sự kiện có thể trở nên đắt đỏ một cách đáng ngạc nhiên khi mở rộng quy mô:
- Ở mức 1 triệu sự kiện/ngày: Khoảng 7,50 USD/ngày
- Ở mức 15 triệu sự kiện/ngày: Khoảng 75 USD/ngày
- Ở mức 150 triệu sự kiện/ngày: Lên đến 750 USD/ngày (chỉ tính riêng cho các yêu cầu PUT của S3)
Cách tiếp cận Thay thế của Trench
Christian từ Trench giới thiệu một giải pháp khác được xây dựng trên nền tảng Kafka và ClickHouse, loại bỏ chi phí cho mỗi lần đọc/ghi. Các số liệu hiệu suất từ môi trường sản xuất cho thấy:
- Một máy chủ EC2 (16 nhân/32GB RAM) có thể xử lý:
- Hơn 1000 thao tác chèn mỗi giây
- Khối lượng truy vấn đồng thời tương tự
- Duy trì mức tải trung bình thấp (0,91, 0,89, 0,9)
Sự khác biệt về Mặt Kỹ thuật
Cuộc thảo luận trong cộng đồng cho thấy một số ưu điểm kỹ thuật chính của Trench:
-
Kiến trúc Khả mở
- Phân vùng dữ liệu dựa trên instanceId
- Khả năng phân mảnh trên nhiều nút cho các triển khai lớn hơn
- Khả năng xử lý song song với các tiến trình Node trên nhiều nhân
-
** Hiệu quả Lưu trữ**
- Sử dụng lưu trữ dạng cột của ClickHouse
- Động cơ Kafka để điều tiết việc tiếp nhận sự kiện
- Tối ưu hóa cho dữ liệu chuỗi thời gian khối lượng lớn
Làm rõ Trường hợp Sử dụng
Cuộc thảo luận đã làm rõ rằng Trench phù hợp với một phân khúc cụ thể:
- Lý tưởng cho các ứng dụng có hơn 1 triệu người dùng hoạt động hàng tháng
- Đặc biệt hữu ích cho các công ty có tăng trưởng phi tuyến tính về dữ liệu sự kiện
- Đóng vai trò như một giải pháp chuyên biệt để giảm tải các bảng sự kiện khối lượng lớn từ cơ sở dữ liệu chính
Hạn chế Hiện tại
Phản hồi từ cộng đồng đã xác định một số lĩnh vực cần cải thiện:
- Công cụ trực quan hóa tích hợp còn hạn chế (Grafana không được tích hợp sẵn)
- Giao diện quản trị vẫn đang trong giai đoạn phát triển
- Chưa triển khai tính năng tự động lưu trữ vào bộ nhớ đám mây
Đối với các tổ chức xử lý khối lượng sự kiện lớn, Trench thể hiện một giải pháp thay thế tiết kiệm chi phí so với các giải pháp đám mây truyền thống, đặc biệt khi mở rộng quy mô vượt quá hàng triệu sự kiện mỗi ngày. Tuy nhiên, đối với các ứng dụng nhỏ hơn với ít hơn 1 triệu MAU, các giải pháp RDBMS truyền thống vẫn có thể đủ đáp ứng nhu cầu.