Bức tranh huấn luyện mô hình AI đang trải qua một sự thay đổi đáng kể khi các nhà nghiên cứu chứng minh khả năng huấn luyện các mô hình khuếch tán quy mô lớn với ngân sách khiêm tốn đáng kể. Sự phát triển này đánh dấu tiềm năng dân chủ hóa việc huấn luyện mô hình AI, giúp nó trở nên dễ tiếp cận hơn với các tổ chức nhỏ và các nhà nghiên cứu độc lập.
 |
|---|
| Hình ảnh minh họa tiềm năng sáng tạo của AI, với các phi hành gia cưỡi ngựa được thể hiện qua nhiều phong cách nghệ thuật khác nhau, tượng trưng cho những khả năng vô hạn của các mô hình AI chi phí thấp |
Khía cạnh Kinh tế của Huấn luyện Chi phí Thấp
Cộng đồng đặc biệt quan tâm đến những ảnh hưởng về chi phí của phương pháp mới này. Mặc dù con số 1.890 đô la Mỹ cho việc huấn luyện thể hiện sự giảm mạnh so với chi phí truyền thống, vẫn có những thảo luận sâu sắc về khả năng tiếp cận thực sự của các mô hình chi phí thấp này. Việc huấn luyện đòi hỏi truy cập vào 8 GPU H100, đại diện cho khoản đầu tư phần cứng đáng kể. Tuy nhiên, các tùy chọn điện toán đám mây khiến điều này khả thi hơn:
Bạn có thể thực hiện trên một GPU duy nhất nhưng sẽ cần sử dụng tích lũy gradient và việc huấn luyện có thể kéo dài 1-2 tháng trên GPU thông thường.
Nhận định này cho thấy khả năng dân chủ hóa còn có thể tiến xa hơn nữa, dù với thời gian huấn luyện dài hơn.
Chi phí Điện toán Đám mây (theo tham chiếu trong bình luận):
- Lambda Labs: khoảng ~$215 cho 2,6 ngày huấn luyện
- Các nhà cung cấp thay thế đề xuất tối ưu hóa chi phí hơn nữa
- Lựa chọn GPU cho người dùng thông thường: thời gian huấn luyện 1-2 tháng trên một GPU
Đánh đổi và Thành tựu Kỹ thuật
Mô hình đạt được kết quả ấn tượng bất chấp những hạn chế về kinh tế, huấn luyện một transformer thưa 1,16 tỷ tham số chỉ với 37 triệu hình ảnh. Các cuộc thảo luận trong cộng đồng nhấn mạnh rằng mặc dù yêu cầu phần cứng có vẻ đáng kể, phương pháp này thể hiện sự tối ưu hóa đáng kể về tài nguyên so với các phương pháp hiện có, đạt điểm FID là 12,7 trong việc tạo zero-shot trên tập dữ liệu COCO.
Thông số kỹ thuật huấn luyện:
- Tổng chi phí: USD $1,890
- Thời gian huấn luyện: 2.6 ngày
- Phần cứng: Máy 8× GPU H100
- Kích thước tập dữ liệu: 37 triệu hình ảnh
- Kích thước mô hình: 1.16 tỷ tham số
- Hiệu suất: Chỉ số FID đạt 12.7 trên tập dữ liệu COCO
- Giảm chi phí: Thấp hơn 118 lần so với các mô hình Stable Diffusion
Ý nghĩa Tương lai
Cuộc thảo luận cho thấy một xu hướng mới nổi hướng tới điều mà một số thành viên cộng đồng mô tả là làn sóng các mô hình AI micro với khả năng sáng tạo vô hạn. Với chi phí huấn luyện có thể giảm xuống mức đầu tư của một máy tính chơi game cao cấp (khoảng 5.000 đô la Mỹ bao gồm phần cứng), chúng ta đang chứng kiến khả năng xuất hiện của một hệ sinh thái mới gồm các mô hình AI chuyên biệt, phục vụ các trường hợp sử dụng hẹp do các cá nhân và nhóm nhỏ phát triển.
Cân nhắc về Dữ liệu và Phân phối
Một cuộc tranh luận kỹ thuật thú vị đã nổi lên xung quanh khái niệm tạo ra ngoài phân phối, với các thành viên cộng đồng lưu ý rằng tiêu chuẩn truyền thống về hình ảnh phi hành gia cưỡi ngựa có thể không nằm ngoài phân phối như người ta vẫn nghĩ. Điều này nhấn mạnh tầm quan trọng của việc cân nhắc kỹ lưỡng khi lựa chọn các nhiệm vụ đánh giá cho khả năng của mô hình.
Sự phát triển của các phương pháp huấn luyện chi phí thấp đại diện cho một bước tiến quan trọng hướng tới dân chủ hóa việc phát triển mô hình AI, có khả năng tạo ra làn sóng đổi mới mới từ các tổ chức nhỏ trong lĩnh vực này. Mặc dù vẫn còn một số rào cản về phần cứng, sự giảm mạnh chi phí huấn luyện cho thấy chúng ta đang bước vào kỷ nguyên mới về khả năng tiếp cận trong phát triển mô hình AI.
Tham khảo: Stretching Each Dollar: Diffusion Training from Scratch on a Micro-Budget