Một công cụ quản lý PostgreSQL mới có tên PgDog đã xuất hiện, hứa hẹn giải quyết một trong những vấn đề thách thức nhất của thế giới cơ sở dữ liệu: sharding tự động với xử lý truy vấn minh bạch. Được xây dựng bằng Rust và cấp phép theo AGPL v3, dự án mã nguồn mở này nhằm mục đích làm cho việc mở rộng PostgreSQL trở nên liền mạch nhất có thể đối với các nhà phát triển.
Các Tính Năng Chính:
- Gộp giao dịch hỗ trợ hàng trăm nghìn kết nối đồng thời
- Cân bằng tải tại tầng ứng dụng ( OSI Level 7 ) với nhiều chiến lược khác nhau
- Tự động phân tích truy vấn và định tuyến shard sử dụng trình phân tích cú pháp gốc của PostgreSQL
- Lắp ráp kết quả truy vấn cross-shard trong bộ nhớ
- Trình phân tích cú pháp CSV tích hợp để chia các lệnh COPY qua các shard
- Hỗ trợ giao thức logical replication cho việc resharding trực tiếp
Sharding Minh Bạch Với Trí Tuệ Đa Shard
Khía cạnh hấp dẫn nhất của PgDog nằm ở cách tiếp cận đối với các truy vấn phân tán. Không giống như các giải pháp sharding truyền thống yêu cầu ứng dụng phải nhận biết về phân phối dữ liệu, PgDog hoạt động ở tầng mạng trong khi vẫn duy trì khả năng tương thích với PostgreSQL. Công cụ này sử dụng trình phân tích cú pháp gốc của PostgreSQL để hiểu các truy vấn, trích xuất khóa sharding và tự động định tuyến các yêu cầu đến các shard phù hợp.
Khi các truy vấn trải rộng trên nhiều shard, PgDog sẽ tập hợp kết quả trong bộ nhớ trước khi gửi chúng đến các client. Tính minh bạch này có nghĩa là các ứng dụng hiện tại có thể hưởng lợi từ sharding mà không cần thay đổi mã nguồn. Tuy nhiên, cách tiếp cận này đặt ra những câu hỏi quan trọng về hiệu suất và sử dụng tài nguyên mà cộng đồng rất mong muốn khám phá.
Câu Hỏi Về Hiệu Suất Và Mối Quan Ngại Thực Tế
Phản hồi sớm từ cộng đồng làm nổi bật một khoảng trống quan trọng trong các benchmark hiện tại. Trong khi PgDog thể hiện hiệu suất ấn tượng đối với connection pooling tiêu chuẩn, thử thách thực sự đến từ việc phân tích cú pháp truy vấn và các hoạt động đa shard.
Một trong những dự án Postgres thú vị nhất mà tôi đã thấy trong nhiều năm. Các benchmark được trình bày dường như chỉ giải quyết pooling tiêu chuẩn, tôi muốn xem nó trông như thế nào khi phân tích cú pháp truy vấn và join đa shard được đưa vào.
Mối quan ngại này phản ánh sự hoài nghi rộng rãi hơn trong ngành về các giải pháp sharding minh bạch. Chi phí tính toán của việc phân tích cú pháp mọi truy vấn, kết hợp với yêu cầu bộ nhớ để tập hợp kết quả đa shard, có thể ảnh hưởng đáng kể đến hiệu suất dưới tải nặng.
 |
|---|
| Ảnh chụp màn hình này giới thiệu kho lưu trữ GitHub cho dự án PgDog, phản ánh các cuộc thảo luận đang diễn ra về hiệu suất và điểm chuẩn của nó |
Tính Khả Dụng Cao Và Thách Thức Vận Hành
Cách tiếp cận của dự án đối với tính khả dụng cao tiết lộ cả điểm mạnh và hạn chế. PgDog xử lý nhiều proxy frontend thông qua cấu hình đồng bộ hóa thay vì các cơ chế đồng thuận. Lựa chọn thiết kế này tránh được các tình huống split-brain phức tạp nhưng đòi hỏi sự phối hợp triển khai cẩn thận.
Đối với các triển khai không có thời gian chết, cách tiếp cận được khuyến nghị bao gồm tạm dừng lưu lượng, tải lại cấu hình và tiếp tục hoạt động trong vòng vài giây. Mặc dù điều này hoạt động cho bảo trì có kế hoạch, nó không giải quyết được các lỗi bất ngờ khi các triển khai blue-green với TCP load balancer trở nên cần thiết.
Yêu cầu Cấu hình:
- Cấu hình Chính: pgdog.toml (cài đặt chung và thông tin máy chủ)
- Cấu hình Người dùng: users.toml (chi tiết xác thực)
- Giám sát: Điểm cuối OpenMetrics và cơ sở dữ liệu quản trị theo phong cách PgBouncer
- Triển khai: Điều khiển bằng cấu hình với tải lại đồng bộ cho nhiều proxy
Mô Hình Kinh Doanh Và Cân Nhắc Về Cấp Phép
Giấy phép AGPL v3 của PgDog đã khơi dậy cuộc thảo luận về việc áp dụng trong doanh nghiệp. Giấy phép cho phép sử dụng nội bộ và sửa đổi riêng tư mà không cần chia sẻ mã nguồn, nhưng yêu cầu các tổ chức cung cấp PgDog như một dịch vụ công cộng phải chia sẻ các sửa đổi của họ.
Nhóm phát triển có kế hoạch kiếm tiền thông qua các triển khai được quản lý và dịch vụ hỗ trợ, theo các mô hình đã được thiết lập trong phần mềm cơ sở hạ tầng. Tuy nhiên, một số tổ chức vẫn thận trọng về việc cấp phép AGPL bất chấp các làm rõ từ các nhà phát triển.
Nhìn Về Phía Trước
PgDog đại diện cho một nỗ lực đầy tham vọng nhằm giải quyết các thách thức mở rộng theo chiều ngang của PostgreSQL thông qua proxy thông minh. Sự thành công của dự án sẽ phụ thuộc phần lớn vào việc nó xử lý tốt như thế nào các tác động hiệu suất của sharding minh bạch và liệu nó có thể thực hiện được lời hứa về khả năng mở rộng liền mạch hay không.
Vì dự án vẫn đang trong giai đoạn đầu, các nhà áp dụng tiềm năng được khuyên nên kiểm tra kỹ lưỡng các trường hợp sử dụng cụ thể của họ, đặc biệt là những trường hợp liên quan đến các truy vấn đa shard phức tạp. Những tháng tới sẽ tiết lộ liệu PgDog có thể thu hẹp khoảng cách giữa độ tin cậy của PostgreSQL và nhu cầu mở rộng của các ứng dụng hiện đại hay không.
Tham khảo: PgDog