Trong bối cảnh tìm kiếm doanh nghiệp và quản lý kiến thức đang phát triển nhanh chóng, Onyx (trước đây được biết đến với tên gọi Danswer) đã nổi lên như một giải pháp đáng chú ý, tạo ra tiếng vang đáng kể trong cộng đồng người dùng kỹ thuật. Nền tảng này kết hợp trí tuệ nhân tạo tạo sinh mã nguồn mở với khả năng tìm kiếm doanh nghiệp, cho phép các tổ chức kết nối tài liệu nội bộ, ứng dụng và con người vào một hệ thống kiến thức thống nhất.
Điều đặc biệt thú vị về Onyx không chỉ là bộ tính năng của nó, mà còn là kiến trúc kỹ thuật hỗ trợ khả năng tìm kiếm, điều đã trở thành tâm điểm thảo luận của cộng đồng.
 |
|---|
| Repository GitHub của Onyx, trình bày mã nguồn và cấu trúc phát triển của nó |
Phương pháp Lập chỉ mục Kết hợp
Cốt lõi hiệu quả của Onyx là hệ thống lập chỉ mục tài liệu kết hợp, kết hợp tần suất từ khóa với nhúng vector. Không giống các giải pháp dựa vào khả năng tìm kiếm gốc của từng ứng dụng riêng lẻ, Onyx xây dựng một chỉ mục tài liệu toàn diện trên tất cả các nguồn được kết nối. Phương pháp này giải quyết một số thách thức chính trong tìm kiếm doanh nghiệp, bao gồm thuật ngữ đặc thù của nhóm, truy vấn ngôn ngữ tự nhiên và khớp không chính xác.
Chỉ mục tài liệu là một chỉ mục kết hợp của tần suất từ khóa và vector. Thành phần từ khóa giải quyết các vấn đề như thuật ngữ đặc thù của nhóm và thành phần vector cho phép truy vấn ngôn ngữ tự nhiên và khớp không chính xác.
Kiến trúc này cho phép Onyx xử lý tài liệu trước thời điểm truy vấn, tạo ra các biểu diễn thân thiện với LLM cho phép suy luận nhanh. Hệ thống cũng kết hợp các tín hiệu bổ sung như độ mới của tài liệu, áp dụng trọng số dựa trên thời gian để ưu tiên thông tin cập nhật hơn trên tất cả các nguồn.
Nghiên cứu Sâu so với RAG Truyền thống
Nhiều thành viên cộng đồng đã đặt câu hỏi về sự khác biệt giữa khả năng nghiên cứu sâu của Onyx với các hệ thống Tạo sinh Tăng cường bằng Truy xuất (RAG) tiêu chuẩn. Sự khác biệt nằm ở cách tác nhân tương tác với cơ sở hạ tầng tìm kiếm cơ bản. Trong khi RAG đóng vai trò là công cụ nền tảng, tác nhân nghiên cứu sâu của Onyx có thể thực hiện nhiều tìm kiếm, phản ánh kết quả trước đó và tạo ra các đầu ra chuỗi suy nghĩ để khám phá thông tin kỹ lưỡng hơn.
Tác nhân có thể quyết định những câu hỏi nào cần khám phá sâu hơn, tương tự như cách một nhà nghiên cứu con người có thể theo dõi các mạch điều tra khác nhau khi nghiên cứu một chủ đề phức tạp. Điều này tạo ra một quy trình nghiên cứu năng động và kỹ lưỡng hơn so với các triển khai RAG truy vấn đơn.
Quản lý Quyền truy cập
Một thách thức đáng kể đối với các hệ thống kiến thức doanh nghiệp là xử lý các mô hình quyền phức tạp trên các ứng dụng khác nhau. Onyx giải quyết vấn đề này bằng cách ánh xạ các đối tượng bên ngoài và người dùng/nhóm liên quan vào một biểu diễn thống nhất trong nền tảng.
Hệ thống chạy các công việc bất đồng bộ kiểm tra cập nhật quyền theo khoảng thời gian có thể cấu hình, với các giá trị mặc định được điều chỉnh cho từng loại nguồn bên ngoài. Phương pháp này duy trì bảo mật trong khi cho phép tìm kiếm xuyên ứng dụng, luôn mặc định theo mô hình truy cập ít cấp phép nhất để ngăn chặn việc tiết lộ thông tin trái phép.
Hiệu suất và Đánh giá
Trong các đánh giá nội bộ sử dụng bộ dữ liệu bao gồm nội dung doanh nghiệp điển hình (tin nhắn Slack, tài liệu kỹ thuật, v.v.), Onyx báo cáo kết quả ấn tượng. Với bộ thử nghiệm 10.000 tài liệu, hệ thống đạt được hơn 94% độ thu hồi ở 4.000 token, duy trì trên 90% độ thu hồi ngay cả khi mở rộng đến hàng trăm nghìn tài liệu với nhiễu được thêm vào.
Nền tảng này chủ yếu được phát triển với GPT-4o nhưng đã được điều chỉnh để hoạt động hiệu quả với các mô hình gần đây khác bao gồm Claude 3.5, Gemini và Deepseek.
Tính năng chính của Onyx
- Lập chỉ mục tài liệu lai (tần suất từ khóa + vector)
- Hơn 40 kết nối bao gồm Google Drive, Confluence, Slack, Gmail, Salesforce
- Khả năng tác tử nghiên cứu sâu vượt xa RAG tiêu chuẩn
- Ánh xạ quyền truy cập trên các ứng dụng khác nhau
- Tùy chọn triển khai: cục bộ, tại chỗ hoặc đám mây
- Hai phiên bản: Community Edition (giấy phép MIT) và Enterprise Edition
Các chỉ số hiệu suất
- Độ thu hồi 94% ở mức 4K token trên bộ kiểm tra 10K tài liệu
- Duy trì độ thu hồi trên 90% với hàng trăm nghìn tài liệu
- Tương thích với nhiều nền tảng LLM ( GPT-4o, Claude 3.5, Gemini, Deepseek )
Các mục trong lộ trình phát triển
- Phương pháp truy xuất thông tin mới (StructRAG, LightGraphRAG)
- Tìm kiếm cá nhân hóa
- Hiểu biết tổ chức và đề xuất chuyên gia
- Tìm kiếm mã
- Hỗ trợ SQL và ngôn ngữ truy vấn có cấu trúc
Hướng Phát triển Tương lai
Nhìn về phía trước, Onyx đang khám phá một số phương pháp truy xuất thông tin tiên tiến, bao gồm đồ thị kiến thức dựa trên LLM tùy chỉnh lấy cảm hứng từ các phương pháp như LightGraphRAG. Các tính năng khác được lên kế hoạch bao gồm tìm kiếm cá nhân hóa, hiểu biết tổ chức với khả năng đề xuất chuyên gia, tìm kiếm mã và hỗ trợ ngôn ngữ truy vấn có cấu trúc.
Đối với các tổ chức đang tìm cách cải thiện khám phá và sử dụng kiến thức trong hệ sinh thái kỹ thuật số của họ, Onyx đại diện cho một lựa chọn mã nguồn mở thú vị có thể được triển khai cục bộ, tại chỗ hoặc trên đám mây. Phiên bản cộng đồng được cung cấp miễn phí theo giấy phép MIT Expat, trong khi phiên bản doanh nghiệp với các tính năng bổ sung nhắm đến các tổ chức lớn hơn cũng có sẵn.
Khi tìm kiếm doanh nghiệp được hỗ trợ bởi AI tiếp tục phát triển, phương pháp của Onyx kết hợp khả năng nghiên cứu sâu với chỉ mục tài liệu thống nhất cho thấy cách khoảng cách giữa các nguồn thông tin khác nhau có thể được kết nối hiệu quả, tiềm năng giảm thời gian và công sức cần thiết để người làm việc với kiến thức tìm và tổng hợp thông tin.
Tham khảo: Open Source Gen-AI + Enterprise Search