Một công cụ đánh giá bản thảo khoa học được hỗ trợ bởi AI có tên Rigorous vừa ra mắt với lời hứa sẽ làm cho việc xuất bản học thuật nhanh hơn và minh bạch hơn. Dịch vụ dựa trên đám mây này cung cấp phân tích bản thảo miễn phí, giao báo cáo PDF toàn diện trong vòng 1-2 ngày làm việc. Tuy nhiên, những người dùng đầu tiên đang gặp phải các vấn đề kỹ thuật đáng kể và cộng đồng học thuật vẫn còn chia rẽ về vai trò của AI trong đánh giá đồng nghiệp.
Các Vấn đề Kỹ thuật Gây Khó khăn cho Giai đoạn Ra mắt
Người dùng cố gắng tải lên bản thảo lên nền tảng Rigorous đang gặp phải nhiều khó khăn kỹ thuật khác nhau. Một nhà nghiên cứu báo cáo gặp lỗi HTTP 413 và lỗi phân tích cú pháp JSON khi cố gắng gửi một bài nghiên cứu có dung lượng 9.4 MB. Các thông báo lỗi cho thấy vấn đề về thời gian chờ máy chủ và giới hạn kích thước tệp có thể đang ảnh hưởng đến độ tin cậy của dịch vụ trong giai đoạn thử nghiệm.
Các nhà phát triển thừa nhận đây là những vấn đề giai đoạn đầu, giải thích rằng quy trình cốt lõi hiện tại mất khoảng 8 phút ở local nhưng có thể được tối ưu hóa xuống 1-2 phút. Họ cho rằng thời gian xử lý hiện tại 1-2 ngày là do các bước đánh giá thủ công và các biện pháp kiểm soát chi phí trong khi họ đang giải quyết các vấn đề kỹ thuật.
Các Chỉ Số Hiệu Suất Hiện Tại:
- Thời gian xử lý cục bộ: ~8 phút (có thể tối ưu hóa xuống 1-2 phút)
- Thời gian phản hồi dịch vụ đám mây: 1-2 ngày làm việc
- Giới hạn kích thước tệp: Đã có báo cáo sự cố với các tệp 9.4 MB
- Trạng thái hiện tại: Giai đoạn thử nghiệm miễn phí
Cộng đồng Nêu lên Mối lo ngại về Chất lượng và Độ tin cậy
Cộng đồng học thuật đã bày tỏ phản ứng trái chiều đối với đánh giá đồng nghiệp có sự hỗ trợ của AI. Một số nhà nghiên cứu lo lắng về chất lượng phản hồi do AI tạo ra, đặc biệt là do sự gia tăng gần đây của các đánh giá được viết bởi AI trên các nền tảng học thuật. Những người chỉ trích cho rằng đánh giá đồng nghiệp có ý nghĩa đòi hỏi chuyên môn sâu sắc và những hiểu biết mà các hệ thống AI hiện tại không thể cung cấp.
Mục đích của việc đánh giá là để có được những hiểu biết/nhận xét sâu sắc từ các chuyên gia trong ngành có kiến thức VƯỢT TRỘI hơn các LLM. Tôi biết tiêu chuẩn rất thấp, nhưng chúng ta nên làm tốt hơn với tư cách là cộng đồng nghiên cứu.
Các vấn đề về độ tin cậy cũng nổi lên xung quanh tính minh bạch của nền tảng. Người dùng lưu ý việc thiếu các chính sách bảo mật rõ ràng, thông tin liên hệ và chi tiết về các thực hành xử lý dữ liệu. Các nhà phát triển đã phản hồi bằng cách thừa nhận họ đang ở chế độ MVP sớm và hứa sẽ bổ sung thông tin liên hệ và chính sách phù hợp.
Dữ liệu Huấn luyện Hạn chế Cản trở Phát triển AI
Một thách thức đáng kể mà các hệ thống đánh giá đồng nghiệp AI đang phải đối mặt là sự khan hiếm dữ liệu huấn luyện chất lượng. Các báo cáo đánh giá đồng nghiệp trong lịch sử hiếm khi được công bố, và chỉ gần đây một số tạp chí mới bắt đầu công khai các báo cáo đánh giá. Việc thiếu dữ liệu huấn luyện toàn diện này có thể hạn chế hiệu quả của các hệ thống AI trong việc cung cấp phản hồi có ý nghĩa.
Các nhà phát triển đang khám phá các phương pháp thay thế, bao gồm phân tích sự khác biệt giữa các bản preprint và phiên bản cuối cùng được xuất bản để hiểu những thay đổi mà đánh giá đồng nghiệp thường thúc đẩy. Tuy nhiên, họ thừa nhận rằng ngay cả phương pháp này cũng có thể không nắm bắt được phản hồi tốt nhất có thể, vì các nhận xét của người đánh giá con người đôi khi có thể không nhất quán hoặc không hợp lý.
Kết luận
Trong khi Rigorous nhằm giải quyết các vấn đề thực tế trong xuất bản học thuật bằng cách làm cho đánh giá đồng nghiệp nhanh hơn và dễ tiếp cận hơn, việc ra mắt sớm của nó cho thấy những thách thức mà các công cụ học thuật được hỗ trợ bởi AI đang phải đối mặt. Các vấn đề kỹ thuật, sự hoài nghi của cộng đồng và những câu hỏi cơ bản về khả năng của AI trong việc cung cấp phản hồi học thuật có ý nghĩa cho thấy rằng việc áp dụng rộng rãi có thể đòi hỏi những cải tiến đáng kể trong cả công nghệ và các biện pháp xây dựng lòng tin.
Các nhà phát triển công cụ có vẻ phản hồi tích cực với phản hồi và đang nỗ lực giải quyết các mối quan ngại, nhưng sự tiếp nhận thận trọng của cộng đồng học thuật làm nổi bật những tiêu chuẩn cao được mong đợi đối với các hệ thống có thể ảnh hưởng đến các quyết định xuất bản khoa học.
Tham khảo: Rigorous - Al-Powered Scientific Manuscript Analysis