Việc phát hành gần đây của thư viện go-attention, một triển khai thuần Go về các cơ chế attention và các lớp transformer, đã gây ra cuộc tranh luận đáng kể trong cộng đồng lập trình viên về những hạn chế về hiệu năng của Go đối với các tác vụ đòi hỏi tính toán cao như machine learning.
Mặc dù thư viện này nhằm cung cấp một triển khai rõ ràng không có các phụ thuộc bên ngoài, phản hồi từ cộng đồng cho thấy nó có thể đối mặt với những thách thức đáng kể về hiệu năng so với các giải pháp thay thế ở những ngôn ngữ có hỗ trợ tốt hơn cho tăng tốc phần cứng.
Các lo ngại về hiệu năng chiếm ưu thế trong cuộc thảo luận
Các lập trình viên trong cộng đồng đã nêu ra những lo ngại nghiêm trọng về tác động hiệu năng khi triển khai cơ chế attention bằng thuần Go. Nhiều người bình luận chỉ ra rằng Go thiếu hỗ trợ SIMD (Single Instruction, Multiple Data) tự nhiên, điều này rất quan trọng đối với các phép toán vector và ma trận vốn là nền tảng của các mô hình transformer. Một lập trình viên lưu ý rằng Go chậm một cách không thể chấp nhận được khi nói đến toán học và nếu không có các lệnh CPU SIMD, việc triển khai có thể chậm hơn nhiều lần so với mã tương đương trong C, C++, Rust, hoặc thậm chí Python và Java (thường gọi các thư viện C/C++ đã được tối ưu hóa).
Việc thiếu hỗ trợ GPU/CUDA trong thư viện cũng được nhấn mạnh là một hạn chế đáng kể, vì các triển khai transformer hiện đại phụ thuộc rất nhiều vào tăng tốc GPU để có hiệu năng thực tế. Một số lập trình viên gợi ý rằng việc sử dụng các binding Go cho các thư viện đã được thiết lập như llama.cpp sẽ là một cách tiếp cận thực tế hơn cho các trường hợp sử dụng trong sản xuất.
Hạn chế về hiệu suất được cộng đồng chỉ ra:
- Thiếu hỗ trợ SIMD (Single Instruction, Multiple Data) gốc
- Không có tăng tốc GPU/CUDA
- Mã vô hướng chỉ hoạt động trên các giá trị fp64 đơn lẻ
- Có thể "chậm hơn nhiều lần" so với các triển khai bằng C/C++/Rust
Các giải pháp thay thế được đề xuất:
- Sử dụng các ràng buộc Go cho llama.cpp
- Triển khai các phần quan trọng bằng assembly Go (Goasm)
- Sử dụng các gói chuyên biệt như viterin/vek hoặc kelindar/simd
- Sử dụng Go như một trình tạo mã JIT với cgo
Các cách tiếp cận thay thế và giải pháp tạm thời
Một số lập trình viên đã đưa ra các giải pháp tiềm năng cho vấn đề hiệu năng. Một đề xuất liên quan đến việc sử dụng hỗ trợ assembly của Go (Goasm) để triển khai các phép toán quan trọng. Những người khác đề cập đến các gói Go hiện có như viterin/vek hoặc kelindar/simd có thể giúp cải thiện hiệu năng thông qua việc sử dụng SIMD tốt hơn.
Một cách tiếp cận thay thế thú vị được đề xuất bởi một lập trình viên, người đã mô tả việc sử dụng Go như một trình tạo mã JIT, liên kết động kết quả và nhảy vào nó với cgo để đạt được hiệu năng tốt hơn, dễ dàng bão hòa các đơn vị toán học vector của CPU. Điều này cho thấy những giải pháp sáng tạo mà các lập trình viên đang khám phá để vượt qua những hạn chế hiệu năng tự nhiên của Go đối với các phép toán học.
Giá trị giáo dục bất chấp vấn đề hiệu năng
Mặc dù có những lo ngại về hiệu năng, một số thành viên cộng đồng đánh giá cao giá trị giáo dục của triển khai này. Một người bình luận lưu ý rằng thư viện cung cấp cơ hội để nghiên cứu [cơ chế attention] ở cấp độ triển khai thay vì chỉ đọc các blog. Điều này cho thấy ngay cả khi thư viện không phù hợp cho các khối lượng công việc sản xuất, nó phục vụ một mục đích quan trọng trong việc làm cho các thuật toán này dễ tiếp cận và dễ hiểu hơn đối với các lập trình viên Go.
Khi phân tích mã với các công cụ như Ghidra, các lập trình viên xác nhận rằng triển khai biên dịch thành mã vô hướng hoạt động trên các giá trị fp64 đơn lẻ, củng cố thêm những lo ngại về hiệu năng. Sự đồng thuận dường như là mặc dù thư viện có thể hữu ích cho việc học tập và tạo mẫu, các ứng dụng sản xuất có thể sẽ yêu cầu các cách tiếp cận thay thế có thể tận dụng tăng tốc phần cứng.
Cuộc thảo luận xung quanh go-attention phản ánh một căng thẳng rộng lớn hơn trong hệ sinh thái Go giữa sự nhấn mạnh của ngôn ngữ về tính đơn giản và khả năng đọc so với nhu cầu hiệu năng của các lĩnh vực đòi hỏi tính toán cao như machine learning. Như một lập trình viên đã nói:
Nếu không sử dụng các lệnh CPU SIMD, nó sẽ rất tốn kém.
Cuộc tranh luận này cũng đề cập đến sự quan tâm ngày càng tăng trong việc triển khai các nguyên tắc machine learning trong các ngôn ngữ ngoài Python, khi các lập trình viên tìm cách tích hợp các khả năng này vào các công nghệ hiện có của họ mà không cần phải chịu chi phí của khả năng tương tác giữa các ngôn ngữ.
Tham khảo: go-attention: Một cơ chế attention đầy đủ và transformer trong thuần Go