Những tuyên bố gần đây của Cerebras về ưu thế hiệu suất suy luận AI so với GPU của NVIDIA đã làm dấy lên cuộc thảo luận sôi nổi trong cộng đồng công nghệ, làm nổi bật cả những đột phá tiềm năng lẫn thách thức đáng kể trong lĩnh vực phần cứng AI.
Giới hạn bộ nhớ gây lo ngại
Một điểm quan trọng được cộng đồng nêu ra là dung lượng SRAM hạn chế của Cerebras. Mặc dù công ty tự hào về 44GB SRAM trong hệ thống CS-3, nhưng con số này vẫn chưa đủ cho các mô hình lớn hơn. Như người dùng 'menaerus' chỉ ra:
CS-1 có 18G SRAM, CS-2 mở rộng lên 40G và CS-3 có 44G SRAM. Không có hệ thống nào trong số này đủ để chạy suy luận của Llama 70B, và càng không thể chạy được với các mô hình lớn hơn.
Cân nhắc giữa chi phí và hiệu suất
Khía cạnh kinh tế của giải pháp Cerebras đã thu hút sự xem xét kỹ lưỡng. Với chi phí 900 triệu đô la cho 576 node CS-3 (1,56 triệu đô la mỗi node), cấu trúc chi phí có vẻ khá thách thức. Phân tích của cộng đồng cho thấy:
- Cần 4 node CS-3 (6,24 triệu đô la) để phục vụ một mô hình 70B
- Cụm máy AMD MI300x tương đương (~5 triệu đô la) có thể phục vụ nhiều mô hình với tổng bộ nhớ 24.576GB
- TPU v5e của Google Cloud cung cấp 2.175 token/giây trên Llama2 70B với chi phí khoảng 100.000 đô la mỗi năm
Bối cảnh cạnh tranh
AMD và Google nổi lên như những đối thủ mạnh:
- AMD MI300x cung cấp 192GB bộ nhớ HBM3 cho mỗi đơn vị
- MI325x sẽ cung cấp 256GB HBM3e
- TPU v6 mới được công bố của Google hứa hẹn cải thiện hiệu suất đào tạo gấp 4 lần và tăng thông lượng suy luận gấp 3 lần
Tiềm năng thị trường ngách
Mặc dù có những hạn chế, Cerebras có thể thành công trong các trường hợp sử dụng cụ thể. Như 'krasin' nhận xét, công nghệ của họ có thể có giá trị cho phản hồi độ trễ thấp: trò chuyện âm thanh với LLM, robot, v.v. Tuy nhiên, đây chỉ là một phân khúc nhỏ của thị trường AI tổng thể.
Cộng đồng nhận định rằng mặc dù Cerebras thể hiện hiệu suất đầy hứa hẹn trong một số tình huống nhất định, nhưng giới hạn bộ nhớ và chi phí cao có thể hạn chế việc áp dụng rộng rãi trên thị trường. Chiến lược trợ giá cho mức phí sử dụng đám mây so với doanh số bán phần cứng của công ty cũng đặt ra câu hỏi về tính bền vững của mô hình kinh doanh trong dài hạn.