Khái niệm về lời nhắc đệ quy LLM, có nguồn gốc ít nhất từ tháng 4 năm 2023, đã phát triển từ một khám phá học thuật thành một kỹ thuật nền tảng đằng sau nhiều sản phẩm AI thương mại. Như cộng đồng thảo luận, chúng ta đang chứng kiến sự chuyển đổi từ ý tưởng lý thuyết thành ứng dụng thực tế với tốc độ đáng kinh ngạc.
Từ lý thuyết đến thực hành
Điều bắt đầu như một phương pháp thử nghiệm để triển khai đệ quy sử dụng tiếng Anh như một ngôn ngữ lập trình và LLM như môi trường chạy, giờ đây đã trở thành một phần không thể thiếu của các hệ thống AI hiện đại. Kỹ thuật này bao gồm việc tạo ra các lời nhắc có khả năng tạo ra các phiên bản được cập nhật nhẹ của chính nó, duy trì hiệu quả trạng thái giữa các lần lặp trong khi hướng tới một giải pháp. Như một người bình luận đã lưu ý:
Tôi xem đây giống như một vòng lặp lý luận. Đây là phương pháp tôi sử dụng để nhanh chóng lập trình các vòng lặp lý luận giả trên các dự án cục bộ. Có người đã hỏi trong một cuộc thảo luận khác làm thế nào để khiến LLM tạo ra cả một cuốn sách, chính là như thế này.
Ứng dụng thực tế này cho thấy cách lời nhắc đệ quy đã vượt ra ngoài sự quan tâm lý thuyết để trở thành một kỹ thuật phát triển thực sự.
 |
|---|
| Giao diện này minh họa cách nhắc lại đệ quy có thể giải quyết hiệu quả các bài toán toán học thông qua lập luận có cấu trúc |
Áp dụng thương mại và kinh tế token
Cuộc thảo luận của cộng đồng tiết lộ một khía cạnh kinh tế thú vị về lời nhắc đệ quy. Nhiều người bình luận chỉ ra rằng các công ty AI có động lực tài chính mạnh mẽ để thúc đẩy các phương pháp dựa trên tác nhân và công cụ tận dụng lời nhắc đệ quy, vì chúng làm tăng đáng kể việc sử dụng token. Những gì có thể hoàn thành trong một lời nhắc và vài trăm token thường trở thành hàng chục lời nhắc và hàng nghìn token khi được triển khai như các hệ thống đệ quy.
Nhận xét này xuất hiện vào thời điểm đặc biệt phù hợp, với người bình luận lưu ý rằng OpenAI chỉ mới ra mắt o1 (hệ thống dựa trên tác nhân của họ) vào tháng 9 năm 2024, mặc dù những ý tưởng này đã được khám phá trong nhiều năm. Khoảng cách giữa phát triển khái niệm và triển khai thương mại cho thấy lĩnh vực này đang phát triển nhanh như thế nào.
Các Khái Niệm Chính trong Lập Trình Đệ Quy LLM
- Cơ chế cơ bản: Các lệnh tạo ra phiên bản cập nhật của chính chúng
- Quản lý trạng thái: Duy trì các biến số qua nhiều lần lặp
- Ứng dụng: Giải quyết vấn đề, tạo nội dung (sách, v.v.)
- Ví dụ thương mại: Các công cụ như Cursor, o1 của OpenAI (ra mắt tháng 9 năm 2024)
- Bối cảnh lịch sử: Các triển khai đầu tiên được ghi nhận từ ít nhất tháng 4 năm 2023
- Yếu tố kinh tế: Tăng lượng sử dụng token so với phương pháp sử dụng một lệnh đơn lẻ
Hạn chế và giải pháp thay thế
Mặc dù có sự nhiệt tình, cộng đồng vẫn thực tế về những hạn chế của việc sử dụng LLM cho một số nhiệm vụ nhất định. Các vấn đề toán học và công việc trích dẫn, ví dụ, thường được nhấn mạnh là những lĩnh vực mà phần mềm chuyên dụng có thể hiệu quả hơn các phương pháp dựa trên LLM. Quan điểm thực tế này cho thấy rằng mặc dù lời nhắc đệ quy mở ra những khả năng mới, nhưng không phải lúc nào cũng là giải pháp tối ưu.
Các cuộc thảo luận cũng đề cập đến các khái niệm thử nghiệm hơn, chẳng hạn như tạo ra LLM quines (chương trình tự sao chép) và chứng minh rằng LLM lặp lại là Turing complete, cho thấy việc khám phá lý thuyết về các kỹ thuật này vẫn tiếp tục song song với các ứng dụng thương mại của chúng.
Khi các kỹ thuật lời nhắc đệ quy phát triển từ những điều tò mò học thuật thành các sản phẩm thương mại, chúng ta đang chứng kiến việc triển khai thực tế của những ý tưởng mà chỉ hai năm trước đây còn được xem là thuần túy lý thuyết. Tốc độ của sự tiến hóa này nhấn mạnh việc khả năng AI đang tiến bộ và được thương mại hóa nhanh như thế nào, ngay cả khi các nhà nghiên cứu tiếp tục khám phá giới hạn lý thuyết và ứng dụng thực tế của chúng.
Tham khảo: Recursive LLM prompts
 |
|---|
| Kết quả đầu ra của terminal này thể hiện các kết quả số học có thể xuất hiện trong các thí nghiệm với LLMs, làm nổi bật những giới hạn thực tế của các mô hình này trong các nhiệm vụ toán học |