AMD cuối cùng đã công bố các kết quả hiệu năng cho bộ tăng tốc AI Instinct MI300X được mong đợi từ lâu, đánh dấu một bước tiến quan trọng trong nỗ lực thâm nhập thị trường phần cứng AI cạnh tranh của công ty. Kết quả, mặc dù đầy hứa hẹn, cho thấy cả điểm mạnh và những lĩnh vực cần cải thiện khi AMD tìm cách thách thức vị thế thống trị của NVIDIA.
Hiệu năng cạnh tranh, với một số lưu ý
Trong các bài kiểm tra AI MLPerf v4.1, cụ thể là trên mô hình Llama 2 70B, MI300X cho thấy hiệu năng xấp xỉ ngang bằng với GPU H100 của NVIDIA:
- Kịch bản máy chủ: MI300X vượt nhẹ H100 (21.028 so với 20.605 token/giây)
- Kịch bản ngoại tuyến: MI300X kém hơn một chút so với H100 (23.514 so với 24.323 token/giây)
Mặc dù những kết quả này thể hiện khả năng cạnh tranh của AMD, chúng đi kèm với một số bối cảnh quan trọng. MI300X có hiệu suất lý thuyết cao hơn đáng kể (2,6 POPS so với 1,98 TFLOPS của H100) và dung lượng bộ nhớ gấp hơn hai lần (192GB so với 80GB). Điều này cho thấy AMD có thể chưa tận dụng hết tiềm năng của phần cứng, có lẽ do những thách thức trong việc tối ưu hóa phần mềm.
 |
|---|
| So sánh các tiêu chuẩn hiệu năng giữa nền tảng MI300X của AMD và H100 của Nvidia |
Thông số kỹ thuật phần cứng
MI300X gây ấn tượng với khả năng kỹ thuật của nó:
- 153 tỷ bóng bán dẫn sử dụng quy trình 5nm và 6nm của TSMC
- 320 đơn vị tính toán (304 đơn vị hoạt động trong cấu hình hiện tại)
- 192GB bộ nhớ HBM3 với băng thông 5,3 TB/giây
- Kết nối Infinity Fabric thế hệ thứ tư
Nhìn về phía trước: Thách thức và Cơ hội
-
Tối ưu hóa phần mềm: Bộ phần mềm ROCm của AMD sẽ đóng vai trò quan trọng trong việc thu hẹp khoảng cách với hệ sinh thái CUDA đã trưởng thành của NVIDIA.
-
Đối thủ cạnh tranh sắp tới: GPU H200 và B200 trong tương lai của NVIDIA hứa hẹn mang lại những cải tiến hiệu năng đáng kể, tiếp tục gây áp lực lên AMD.
-
Lợi thế về bộ nhớ: Dung lượng bộ nhớ lớn của MI300X có thể là một yếu tố khác biệt quan trọng để xử lý các mô hình AI lớn hơn.
-
Cần thêm các bài kiểm tra toàn diện: AMD mới chỉ công bố kết quả cho Llama 2 70B. Hiệu năng trên toàn bộ bộ kiểm tra MLPerf sẽ cung cấp bức tranh toàn diện hơn.
-
Phần cứng thế hệ tiếp theo: AMD dự định ra mắt MI325X với 288GB bộ nhớ HBM3e vào cuối năm nay, có khả năng vượt qua NVIDIA về dung lượng bộ nhớ.
Khi AMD tiếp tục cải tiến bộ phần cứng và phần mềm AI của mình, cuộc cạnh tranh trong thị trường bộ tăng tốc AI sẽ ngày càng gay gắt. Mặc dù MI300X cho thấy nhiều triển vọng, AMD vẫn cần phải nỗ lực để tận dụng tối đa lợi thế phần cứng và thách thức vị trí vững chắc của NVIDIA.
 |
|---|
| Một tổng quan quảng cáo về Nền tảng AMD Instinct™, nêu bật các tính năng và khả năng tiên tiến thiết yếu cho điện toán AI |