Khả năng hiểu khi nào con người đã nói xong vẫn là một trong những khía cạnh thách thức nhất của tương tác AI dựa trên giọng nói. Một dự án mã nguồn mở mới có tên là Smart Turn Detection nhằm giải quyết vấn đề này, thu hút sự quan tâm đáng kể từ các nhà phát triển và người dùng tiềm năng.
Thách Thức Về Luồng Hội Thoại
Phát hiện lượt nói—xác định khi nào một người đã nói xong và mong đợi phản hồi—đã được các thành viên cộng đồng xác định là có lẽ là trở ngại lớn nhất để tạo ra các tương tác giọng nói tự nhiên với hệ thống AI. Các triển khai hiện tại dao động từ kém đáng thất vọng (như xu hướng của Siri ngắt lời khi có chút ngừng nhỏ) đến các giải pháp khá hiệu quả nhưng vẫn chưa hoàn hảo trong các hệ thống tiên tiến hơn như chế độ giọng nói của ChatGPT.
Có rất nhiều tình huống mà con người biết khi nào ai đó chưa hoàn thành một ý nghĩ, nhưng AI vẫn gặp khó khăn, và những lỗi đó có thể phá hủy hoàn toàn hiệu quả của cuộc trò chuyện hoặc tệ hơn, dẫn đến những lỗi nghiêm trọng trong chức năng.
Thách thức đặc biệt nghiêm trọng khi người dùng tạm dừng để suy nghĩ giữa câu hoặc khi nói bằng ngôn ngữ không phải tiếng mẹ đẻ. Những mẫu lời nói tự nhiên này thường làm bối rối hệ thống AI, khiến chúng hoặc ngắt lời quá sớm hoặc không phản hồi khi cần thiết.
Triển Khai Kỹ Thuật
Dự án Smart Turn Detection sử dụng Wav2Vec2-BERT của Meta AI làm nền tảng—một mô hình 580 triệu tham số được đào tạo trên 4,5 triệu giờ dữ liệu âm thanh không gắn nhãn bao gồm hơn 143 ngôn ngữ. Triển khai hiện tại thêm một đầu phân loại hai lớp đơn giản để xác định liệu một đoạn lời nói đã hoàn thành hay chưa hoàn thành.
Các cuộc thảo luận cộng đồng cho thấy mô hình có thể đạt được thời gian suy luận thấp tới 100ms sử dụng CoreML, với các triển khai thay thế khám phá các mô hình LSTM nhỏ hơn với kích thước xấp xỉ một phần bảy so với bản gốc. Việc đào tạo mô hình hiện tại mất khoảng 45 phút trên GPU L4, thường hoàn thành trong khoảng 4 epoch mặc dù được cấu hình cho 10.
Tập dữ liệu của dự án hiện bao gồm khoảng 8.000 mẫu—một nửa từ người nói và một nửa được tạo ra tổng hợp bằng Rime. Tập dữ liệu tương đối nhỏ này chủ yếu tập trung vào các từ đệm tiếng Anh thường chỉ ra sự tạm dừng mà không hoàn thành câu nói.
Thông số kỹ thuật mô hình hiện tại:
- Mô hình cơ sở: Wav2Vec2-BERT (580 triệu tham số)
- Dữ liệu huấn luyện: ~8.000 mẫu (4.000 từ người dùng thực, 4.000 tổng hợp)
- Ngôn ngữ được hỗ trợ: Chỉ tiếng Anh
- Thời gian huấn luyện: ~45 phút trên GPU L4
- Mục tiêu suy luận: <50ms trên GPU, <500ms trên CPU
Hạn chế hiện tại:
- Chỉ hỗ trợ tiếng Anh
- Suy luận tương đối chậm
- Dữ liệu huấn luyện tập trung chủ yếu vào các từ đệm
- Giới hạn ở phân loại nhị phân (hoàn chỉnh/chưa hoàn chỉnh)
Mục tiêu phát triển:
- Hỗ trợ đa ngôn ngữ
- Suy luận nhanh hơn (mục tiêu: <50ms trên GPU, <500ms trên CPU)
- Nhận dạng mẫu giọng nói rộng hơn
- Đường ống dữ liệu huấn luyện tổng hợp
- Điều kiện văn bản cho các ngữ cảnh cụ thể (số thẻ tín dụng, địa chỉ, v.v.)
Ứng Dụng Thực Tế và Hạn Chế
Cộng đồng đã xác định một số ứng dụng thực tế cho công nghệ này, bao gồm cải thiện trợ lý giọng nói, ứng dụng dịch thuật, và thậm chí các trường hợp sử dụng cá nhân tiềm năng. Một người bình luận mắc chứng tự kỷ chức năng cao bày tỏ sự quan tâm đến việc sử dụng công nghệ như vậy trong tai nghe, gợi ý các ứng dụng trợ năng ngoài việc sử dụng cho người tiêu dùng thông thường.
Các hạn chế hiện tại bao gồm chỉ hỗ trợ tiếng Anh, suy luận tương đối chậm trên một số nền tảng, và tập trung hẹp vào các từ đệm khi tạm dừng. Lộ trình dự án bao gồm mở rộng hỗ trợ ngôn ngữ, cải thiện tốc độ suy luận (nhắm đến <50ms trên GPU và <500ms trên CPU), nắm bắt nhiều sắc thái lời nói hơn, và phát triển một đường dẫn đào tạo dữ liệu tổng hợp hoàn toàn.
Một số thành viên cộng đồng vẫn hoài nghi liệu việc phát hiện lượt nói có thể được giải quyết hoàn toàn mà không cần các nút nhấn để nói, đặc biệt trong các tình huống thách thức như người không nói tiếng mẹ đẻ đang hình thành suy nghĩ phức tạp hoặc các ứng dụng dịch thuật. Họ đề xuất rằng các giải pháp toàn diện có thể cần kết hợp phát hiện lượt nói với phát hiện ngắt lời và các mô hình ngôn ngữ nhanh trên thiết bị.
Phát Triển Trong Tương Lai
Dự án đang tích cực tìm kiếm người đóng góp để giúp đỡ trong một số lĩnh vực: mở rộng hỗ trợ ngôn ngữ, thu thập dữ liệu đào tạo đa dạng hơn, thử nghiệm với các biến thể kiến trúc mô hình, hỗ trợ đào tạo trên nhiều nền tảng hơn (bao gồm Google Colab và MLX của Apple), và tối ưu hóa hiệu suất thông qua lượng tử hóa và mã suy luận chuyên biệt.
Khi giao diện giọng nói ngày càng trở nên quan trọng trong tương tác người-máy tính, việc giải quyết vấn đề phát hiện lượt nói có thể cải thiện đáng kể tính tự nhiên và hiệu quả của các tương tác này. Sáng kiến mã nguồn mở này đại diện cho một bước quan trọng hướng tới việc làm cho AI giọng nói cảm thấy giống con người hơn và ít gây khó chịu khi sử dụng.
Tham khảo: Smart turn detection