Sự ra mắt của Klarity, một công cụ mới để phân tích sự không chắc chắn trong đầu ra của mô hình sinh thành, đã làm dấy lên một cuộc tranh luận sôi nổi giữa các nhà nghiên cứu AI về hiệu quả của việc sử dụng xác suất logarit để đo lường độ chắc chắn của Mô hình Ngôn ngữ Lớn (LLM). Cuộc thảo luận này làm nổi bật những thách thức phức tạp trong việc hiểu và định lượng mức độ tự tin của các mô hình AI trong các phản hồi của chúng.
Các mô hình đã được thử nghiệm cho Klarity:
- Qwen2.5-0.5B (Base)
- Qwen2.5-0.5B-Instruct
- Qwen2.5-7B
- Qwen2.5-7B-Instruct
Các tính năng chính:
- Phân tích Entropy kép
- Phân cụm ngữ nghĩa
- Đầu ra có cấu trúc
- Phân tích được hỗ trợ bởi AI
Thách thức cơ bản
Trọng tâm của cuộc tranh luận là liệu việc phân tích xác suất từng token có thực sự nắm bắt được sự hiểu biết về ngữ nghĩa hay không. Nhiều nhà nghiên cứu chỉ ra rằng cách tiếp cận hiện tại trong việc phân tích văn bản theo từng token tạo ra sự ngắt quãng giữa các phép đo cơ học và ý nghĩa ngữ nghĩa thực sự. Hạn chế này bắt nguồn từ cách các mô hình ngôn ngữ xử lý thông tin theo các phân đoạn không nhất thiết phải phù hợp với các khái niệm hoặc ý tưởng hoàn chỉnh.
Thách thức cơ bản của việc sử dụng xác suất logarit để đo lường độ chắc chắn của LLM là sự không phù hợp giữa cách mô hình ngôn ngữ xử lý thông tin và cách thức hoạt động thực sự của ý nghĩa ngữ nghĩa... Điều này tạo ra khoảng cách giữa phép đo cơ học về độ chắc chắn và sự hiểu biết thực sự, giống như việc nhầm lẫn bản đồ với lãnh thổ.
Các phương pháp thay thế
Các nhà nghiên cứu đã khám phá nhiều phương pháp khác nhau để đo lường tốt hơn sự không chắc chắn của mô hình. Các câu hỏi trắc nghiệm với phân tích xác suất token cụ thể đã cho thấy triển vọng, cũng như các phương pháp xác minh bằng cách đặt câu hỏi theo dõi như Câu trả lời có đúng không?. Một số nghiên cứu cho thấy việc chuẩn hóa xác suất của các câu trả lời đơn giản có/không có thể cung cấp phép đo về độ tin cậy của mô hình được hiệu chỉnh tốt hơn.
Lập luận ủng hộ xác suất logarit
Mặc dù có sự hoài nghi, một số nhà nghiên cứu vẫn mạnh mẽ bảo vệ giá trị của xác suất logarit, đặc biệt là trong các ứng dụng lấy mẫu. Nghiên cứu gần đây, bao gồm một bài báo được chấp nhận tại ICLR 2025, cho thấy việc cắt bớt động các điểm cắt (lấy mẫu min-p) có thể dẫn đến những cải thiện đáng kể về hiệu suất, đặc biệt là trong các mô hình nhỏ hơn. Điều này cho thấy mặc dù xác suất logarit có thể không hoàn toàn phù hợp với sự hiểu biết về ngữ nghĩa, chúng vẫn chứa những thông tin có giá trị có thể được tận dụng hiệu quả.
Ứng dụng thực tế
Cuộc thảo luận đã làm nổi bật một số ứng dụng thực tế của việc đo lường sự không chắc chắn, bao gồm khả năng sử dụng điểm số không chắc chắn để tối ưu hóa việc định tuyến mô hình - cho phép các truy vấn đơn giản hơn được xử lý bởi các mô hình nhỏ hơn trong khi các câu hỏi phức tạp được chuyển đến các hệ thống có khả năng hơn. Cách tiếp cận này có thể cải thiện cả hiệu quả và hiệu suất trong các ứng dụng thực tế.
Cuộc tranh luận tiếp tục phát triển khi các nhà nghiên cứu làm việc để thu hẹp khoảng cách giữa các phép đo cơ học và sự hiểu biết ngữ nghĩa trong các hệ thống AI. Mặc dù các giải pháp hoàn hảo vẫn còn xa vời, nhưng nỗ lực của cộng đồng trong việc phát triển các thước đo không chắc chắn tốt hơn đang thúc đẩy sự đổi mới trong cả phương pháp tiếp cận lý thuyết và ứng dụng thực tế.
Tham khảo: Klarity: Understanding Uncertainty in Generative Model Predictions