Intel đã chính thức công bố ra mắt bộ tăng tốc AI Gaudi 3, định vị nó như một giải pháp thay thế tiết kiệm chi phí cho GPU H100 đang thống trị của NVIDIA trong thị trường trí tuệ nhân tạo đang phát triển nhanh chóng.
Gaudi 3 đại diện cho một bước tiến đáng kể so với người tiền nhiệm, với 64 lõi xử lý tensor (TPC) và 8 động cơ nhân ma trận (MME). Mỗi bộ tăng tốc được trang bị 128GB bộ nhớ băng thông cao (HBM2E) và cung cấp hiệu suất FP8 lên đến 1.856 TFLOPS. Intel đã tinh chỉnh kiến trúc để tập trung vào các hoạt động FP8 và BFloat16, rất quan trọng đối với các khối lượng công việc AI hiện đại.
Mặc dù các chỉ số hiệu suất thô của Gaudi 3 kém hơn NVIDIA H100 ở một số lĩnh vực, Intel đang đặt cược vào chiến lược định giá của mình để giành thị phần. Công ty tuyên bố rằng Gaudi 3 mang lại hiệu suất trên mỗi đô la tốt hơn tới 80% so với H100 đối với một số mô hình AI nhất định. Intel đã chỉ ra rằng một bộ tăng tốc tám Gaudi 3 sẽ có giá khoảng 125.000 đô la, tương đương khoảng 15.625 đô la mỗi đơn vị - một sự tương phản rõ rệt so với mức giá hiện tại hơn 30.000 đô la cho một NVIDIA H100.
Các tính năng chính của Gaudi 3 bao gồm:
- 64 Lõi xử lý Tensor (TPC)
- 8 Động cơ nhân ma trận (MME)
- Bộ nhớ 128GB HBM2E với băng thông 3,67 TB/s
- Bộ nhớ đệm SRAM trên chip 96MB
- 24 giao diện mạng 200GbE
- TDP 600W
Intel đang quảng cáo những cải tiến hiệu suất đáng kể trong các tác vụ suy luận AI. Đối với mô hình LLaMA 3 8B, Gaudi 3 được cho là mang lại cải thiện 9% về tốc độ suy luận trong khi cung cấp hiệu suất trên mỗi đô la tốt hơn 80% so với H100. Với các mô hình lớn hơn như LLaMA 70B, Intel tuyên bố thông lượng suy luận tốt hơn 19% và hiệu suất trên mỗi đô la gấp đôi.
Gaudi 3 sẽ có sẵn trong nhiều dạng khác nhau, bao gồm các card tương thích OAM và card bổ sung PCIe. Intel đã hợp tác với các nhà sản xuất máy chủ lớn như Dell, HPE và Supermicro để tích hợp Gaudi 3 vào các hệ thống tập trung vào AI của họ. Khả năng sử dụng trên đám mây cũng được lên kế hoạch, với IBM Cloud và Intel's Tiber Developer Cloud sẽ cung cấp tài nguyên Gaudi 3.
Khi cuộc đua phần cứng AI ngày càng gay gắt, chiến lược của Intel với Gaudi 3 dường như tập trung vào việc cung cấp một lựa chọn giá cả phải chăng hơn cho các tổ chức muốn triển khai AI ở quy mô lớn. Tuy nhiên, với kiến trúc Blackwell sắp tới của NVIDIA, vẫn chưa rõ liệu lợi thế về giá của Intel có đủ để chiếm được một phần đáng kể thị trường bộ tăng tốc AI hay không.
Khả năng sẵn có chung của các hệ thống dựa trên Gaudi 3 dự kiến sẽ vào quý 4 năm 2023, với một số đối tác như Dell và Supermicro giao hàng sớm nhất vào tháng 10. Sự ra mắt này đánh dấu một thời điểm quan trọng đối với Intel khi công ty tìm cách thiết lập vị thế của mình như một đối thủ cạnh tranh nghiêm túc trong không gian phần cứng AI do NVIDIA thống trị.
 |
|---|
| Các giải pháp AI đa dụng của Intel được thiết kế để phục vụ cho nhiều ngành công nghiệp đa dạng, thúc đẩy tiến bộ công nghệ trong các lĩnh vực khác nhau |