Sự ra mắt gần đây của BrowserAI đã làm dấy lên nhiều cuộc thảo luận trong cộng đồng lập trình viên về vai trò của nó trong lĩnh vực AI trên trình duyệt. Mặc dù ban đầu được giới thiệu như một giải pháp để chạy các Mô hình Ngôn ngữ Lớn (LLM) cục bộ trên trình duyệt, các cuộc đối thoại trong cộng đồng đã cho thấy cả những hạn chế hiện tại và tiềm năng trong tương lai của nó.
Triển khai hiện tại và phụ thuộc Framework
Hiện tại, BrowserAI chủ yếu hoạt động như một trình bao của WebLLM và Transformers.js, mặc dù có một số điều chỉnh đáng chú ý. Các nhà phát triển đã thực hiện các bước để cải thiện khả năng tương thích framework bằng cách fork và chuyển đổi mã Transformers.js sang TypeScript, giải quyết các vấn đề build trước đây ảnh hưởng đến các framework như Next.js. Quyết định kỹ thuật này phản ánh sự tập trung vào trải nghiệm của nhà phát triển và hỗ trợ framework rộng rãi hơn.
Tính năng dự kiến và hướng phát triển
Nhóm dự án đã vạch ra một số tính năng đầy tham vọng đang được phát triển, đặc biệt chú trọng vào Retrieval-Augmented Generation (RAG) và tích hợp khả năng quan sát. Tuy nhiên, các thành viên cộng đồng đã chỉ ra sự vắng mặt hiện tại của các thành phần quan trọng, như các bộ mã hóa họ BERT, vốn cần thiết để triển khai chức năng RAG. Các nhà phát triển đã thừa nhận hạn chế này và cho biết kế hoạch bổ sung các bộ mã hóa khi cần thiết.
Khi tôi đọc tiêu đề, tôi nghĩ dự án sẽ là một plugin LLM cho trình duyệt (hoặc thứ gì đó tương tự) tự động sử dụng trang hiện tại làm ngữ cảnh. Tuy nhiên, sau khi xem dự án trên GitHub, có vẻ như đây là một giao diện trình duyệt cho các LLM cục bộ.
Ứng dụng thực tế và sự quan tâm của cộng đồng
Mặc dù đang ở giai đoạn đầu, cộng đồng đã xác định được một số ứng dụng thực tế cho BrowserAI, bao gồm quản lý thông báo cookie tự động và cải thiện các tiện ích mở rộng tự động sửa/tự động hoàn thành trên trình duyệt. Việc tập trung vào xử lý AI nguyên bản trên trình duyệt đã thu hút sự quan tâm từ các nhà phát triển đang tìm kiếm giải pháp AI có tính riêng tư mà không phụ thuộc vào máy chủ.
Các Mô Hình Đang Được Hỗ Trợ:
-
Mô Hình MLC:
- LLama-3.2-1b-Instruct
- SmolLM2-135M-Instruct
- SmolLM2-360M-Instruct
- Qwen-0.5B-Instruct
- Gemma-2B-IT
- TinyLLama-1.1b-Chat-v0.4
- Phi-3.5-mini-Instruct
- Qwen2.5-1.5B-Instruct
-
Mô Hình Transformers:
- LLama-3.2-1b-Instruct
- Whisper-tiny-en
- SpeechT5-TTS
Các vấn đề về hiệu suất kỹ thuật
Các nhà phát triển đã báo cáo rằng mặc dù khả năng nén mô hình và sử dụng RAM của WebLLM rất ấn tượng, họ đã gặp phải những trường hợp mô hình được lượng tử hóa đôi khi tạo ra kết quả không nhất quán. Nhận xét này đã thúc đẩy các thử nghiệm liên tục nhằm tối ưu hóa hiệu suất và độ tin cậy của mô hình trong môi trường trình duyệt.
Dự án thể hiện một nỗ lực đang phát triển nhằm làm cho AI dễ tiếp cận hơn trong môi trường trình duyệt, mặc dù giá trị cốt lõi của nó vẫn đang được định hình thông qua phản hồi của cộng đồng và các nỗ lực phát triển liên tục.
Tham khảo: BrowserAI: Chạy LLM cục bộ trên Trình duyệt