AMD đã chứng minh những tiến bộ đáng kể trong khả năng xử lý AI với dòng APU Strix Point mới nhất, thể hiện các chỉ số hiệu năng ấn tượng trong các ứng dụng mô hình ngôn ngữ lớn (LLM) chạy cục bộ. Kết quả kiểm tra gần đây của công ty hé lộ một câu chuyện thú vị về tương lai của việc xử lý AI trên phần cứng tiêu dùng.
Đột phá về hiệu năng trong xử lý LLM
Bộ xử lý đầu bảng AMD Ryzen AI 9 HX 375 đã thể hiện khả năng đáng kinh ngạc trong các ứng dụng LLM, đạt tốc độ tạo token nhanh hơn tới 27% so với Intel Core Ultra 7 258V. Các bài kiểm tra được thực hiện bằng LM Studio, cho thấy khả năng xử lý hiệu quả vượt trội của bộ xử lý với nhiều mô hình LLM phổ biến bao gồm Llama 3.2 của Meta, Phi 3.1 của Microsoft, Gemma 2 của Google và các mô hình Nemo của Mistral.
Tăng tốc GPU và quản lý bộ nhớ tiên tiến
Các APU Strix Point tích hợp các tính năng tăng tốc GPU tiên tiến sử dụng API Vulkan, điều này đã được chứng minh là đặc biệt hiệu quả. Khi kích hoạt tăng tốc GPU, HX 375 thể hiện hiệu năng token mỗi giây nhanh hơn tới 20% so với hoạt động không tăng tốc. Việc triển khai công nghệ Bộ nhớ đồ họa biến thiên (VGM) cho phép phân bổ lại bộ nhớ động, dẫn đến tăng hiệu năng ấn tượng lên tới 60% khi kết hợp với tăng tốc GPU.
Môi trường kiểm tra toàn diện
Phương pháp kiểm tra của AMD sử dụng LM Studio, một ứng dụng máy tính để bàn thân thiện với người dùng được xây dựng trên nền tảng llama.cpp. Phần mềm được tối ưu hóa cho CPU x86 thông qua các lệnh AVX2, kết hợp với khả năng tăng tốc GPU, cung cấp một nền tảng mạnh mẽ để đánh giá hiệu năng AI trong thực tế. Đáng chú ý, Ryzen AI 9 HX 375 đạt được những kết quả này mặc dù chạy với RAM chậm hơn (7500 MT/s) so với hệ thống Intel (8533 MT/s).
Ý nghĩa rộng lớn đối với AI tiêu dùng
Tầm quan trọng của những cải tiến về hiệu năng này vượt xa con số thuần túy, cho thấy vị thế chiến lược của AMD trong thị trường AI tiêu dùng đang phát triển. Mặc dù việc so sánh với bộ xử lý tầm trung của Intel thay vì model cao cấp nhất còn để lại một số câu hỏi về vị trí dẫn đầu về hiệu năng tuyệt đối, nhưng kết quả vẫn thể hiện cam kết mạnh mẽ của AMD trong việc phát triển khả năng xử lý AI cho người tiêu dùng.
Hướng tới tương lai
Khi khối lượng công việc AI ngày càng phổ biến trong các ứng dụng tiêu dùng, lợi thế hiệu năng của AMD trong xử lý LLM cho thấy một hướng đi đầy hứa hẹn cho sự phát triển phần cứng trong tương lai. Sự kết hợp giữa khả năng NPU và tăng tốc GPU hiệu quả cho thấy một cách tiếp cận chín chắn trong việc xử lý các tác vụ AI, có khả năng thiết lập các tiêu chuẩn mới cho nền tảng điện toán di động.