Cộng đồng phát triển AI ngày càng nhận ra rằng các ứng dụng LLM sẵn sàng cho sản xuất thường đòi hỏi một cách tiếp cận module hóa, kiểm soát chặt chẽ hơn thay vì phụ thuộc vào các framework agent toàn diện. Nhận định này xuất phát từ các cuộc thảo luận xoay quanh nguyên tắc 12 Factor Agents, vạch ra các phương pháp tốt nhất để xây dựng ứng dụng LLM đáng tin cậy.
Cuộc tranh luận Framework và Library
Các nhà phát triển nhận thấy rằng mặc dù các framework agent hứa hẹn sự đơn giản và triển khai nhanh chóng, chúng thường dẫn đến những hạn chế khi mở rộng quy mô sản xuất. Cộng đồng đang hướng đến quan điểm rằng LLM hoạt động tốt nhất khi được triển khai như các thư viện thay vì framework, giúp kỹ sư kiểm soát tốt hơn các thành phần quan trọng. Cách tiếp cận này cho phép tùy chỉnh tốt hơn, hành vi dễ dự đoán hơn, và dễ dàng gỡ lỗi khi vấn đề phát sinh.
Hầu hết 'AI Agents' đưa vào sản xuất thực tế không thực sự có tính tác nhân cao. Những agent tốt nhất phần lớn chỉ là phần mềm được thiết kế tốt với LLM được thêm vào ở những điểm then chốt.
Nhận định này phản ánh thực tế mà nhiều nhà phát triển phải đối mặt khi chuyển từ demo sang hệ thống sản xuất cần độ tin cậy và hiệu quả chi phí. Sự phấn khích xung quanh các agent hoàn toàn tự chủ thường nhường chỗ cho các triển khai thực tế hơn, nơi khả năng của LLM nâng cao kiến trúc phần mềm hiện có thay vì thay thế hoàn toàn.
Các Mô hình Triển khai Phổ biến:
- Quy trình làm việc và Tác nhân: 90% các triển khai trong môi trường sản xuất sử dụng mô hình quy trình làm việc thay vì các tác nhân hoàn toàn tự động
- Luồng Điều khiển: Duy trì quyền kiểm soát của nhà phát triển đối với quá trình thực thi thay vì ủy thác cho các framework
- Chiến lược Kiểm thử: Đảm bảo độ tin cậy vượt qua ngưỡng "hoạt động đúng 99% thời gian"
- Quản lý Chi phí: Sử dụng các thành phần xác định nơi có thể để giảm lượng token tiêu thụ
 |
|---|
| Đầu ra có cấu trúc tạo điều kiện kiểm soát tốt hơn đối với các ứng dụng LLM bằng cách tận dụng thư viện thay vì framework |
Kiểm soát luồng và quản lý trạng thái
Một trong những nguyên tắc quan trọng được nhấn mạnh trong các cuộc thảo luận cộng đồng là tầm quan trọng của việc duy trì kiểm soát luồng thực thi và quản lý trạng thái. Thay vì từ bỏ quyền kiểm soát cho các framework black-box, các triển khai thành công thường giữ cho kỹ sư kiểm soát cách thức và thời điểm các thành phần LLM được gọi.
Các nhà phát triển lưu ý rằng việc thống nhất trạng thái thực thi với trạng thái kinh doanh (Yếu tố 6) và sở hữu luồng điều khiển (Yếu tố 8) là rất quan trọng để xây dựng hệ thống có thể được gỡ lỗi, giám sát và tối ưu hóa đúng cách. Cách tiếp cận này cho phép các nhóm xử lý các trường hợp đặc biệt và chế độ lỗi có thể không được nhà thiết kế framework dự đoán trước.
Các Nguyên tắc Chính từ 12 Factor Agents:
- Yếu tố 1: Chuyển đổi từ ngôn ngữ tự nhiên sang Tool Calls
- Yếu tố 2: Làm chủ các prompts của bạn
- Yếu tố 6: Thống nhất trạng thái thực thi và trạng thái kinh doanh
- Yếu tố 7: Liên hệ với con người thông qua tool calls
- Yếu tố 8: Làm chủ luồng điều khiển của bạn
- Yếu tố 10: Các agent nhỏ, tập trung
- Yếu tố 11: Kích hoạt từ bất kỳ đâu, gặp gỡ người dùng ở nơi họ đang có mặt
- Yếu tố 12: Biến agent của bạn thành một bộ giảm thiểu phi trạng thái
 |
|---|
| Quản lý luồng điều khiển là yếu tố quan trọng cho các ứng dụng LLM đáng tin cậy, đảm bảo hành vi dự đoán được và dễ dàng gỡ lỗi hơn |
Cân nhắc chi phí khi mở rộng quy mô
Một cân nhắc thực tế quan trọng được cộng đồng nêu ra là chi phí vận hành các ứng dụng LLM ở quy mô lớn. Tiêu thụ token có thể nhanh chóng trở nên đắt đỏ, đặc biệt khi các agent hoạt động trong vòng lặp thực hiện nhiều lệnh gọi LLM. Các nhà phát triển khuyến nghị sử dụng các thành phần xác định bất cứ khi nào có thể trước khi sử dụng các lệnh gọi LLM.
Cách tiếp cận tiết kiệm chi phí này không chỉ cải thiện hiệu quả tài chính mà còn thường dẫn đến các hệ thống đáng tin cậy hơn với độ trễ thấp hơn. Bằng cách cẩn thận lựa chọn nơi áp dụng khả năng LLM, các nhóm có thể tối đa hóa giá trị trong khi giảm thiểu chi phí không cần thiết.
Thử nghiệm và thách thức về độ tin cậy
Cộng đồng đã nhấn mạnh những thách thức về độ tin cậy vốn có trong các hệ thống dựa trên agent. Ngay cả khi một agent hoạt động chính xác 99% thời gian, tỷ lệ lỗi 1% đó có thể gây ra vấn đề trong môi trường sản xuất. Việc thêm nhiều rào chắn bảo vệ dựa trên LLM không nhất thiết giải quyết được vấn đề, vì nó dựa vào cùng một công nghệ có khả năng sai sót.
Điều này đã khiến nhiều nhóm áp dụng các quy trình làm việc có cấu trúc hơn thay vì các agent hoàn toàn tự chủ, đặc biệt là đối với các ứng dụng doanh nghiệp nơi khả năng dự đoán và độ tin cậy là tối quan trọng. Khả năng kiểm tra, xác nhận và đảm bảo hành vi nhất quán trở nên ngày càng quan trọng khi các hệ thống này đảm nhận nhiều nhiệm vụ quan trọng hơn.
Tóm lại, mặc dù lời hứa về các agent AI tự chủ tiếp tục thu hút trí tưởng tượng và thúc đẩy đổi mới, thực tế của việc xây dựng các ứng dụng LLM sẵn sàng cho sản xuất thường dẫn các nhà phát triển hướng tới các cách tiếp cận có kiểm soát, module hóa hơn. Bằng cách hiểu các nguyên tắc và sự đánh đổi này, các nhóm có thể xây dựng các hệ thống tăng cường AI đáng tin cậy, tiết kiệm chi phí và dễ bảo trì hơn, mang lại giá trị thực sự cho người dùng.
Tham khảo: 12 Factor Agents - Principles for building reliable LLM applications