Google Cloud vừa công bố một nâng cấp đáng kể cho nền tảng serverless Cloud Run của họ, giới thiệu hỗ trợ cho GPU NVIDIA L4. Tính năng mới này, hiện đang trong giai đoạn xem trước, cho phép các nhà phát triển chạy các ứng dụng suy luận AI trực tiếp trên cơ sở hạ tầng đám mây có khả năng mở rộng của Google.
Việc tích hợp GPU NVIDIA L4 vào Cloud Run mở ra những khả năng mới cho các nhà phát triển AI và doanh nghiệp muốn triển khai các mô hình học máy một cách hiệu quả. Dưới đây là một số điểm nổi bật của bản cập nhật này:
-
Nâng cao khả năng AI: Các nhà phát triển giờ đây có thể thực hiện suy luận thời gian thực sử dụng các mô hình mở nhẹ như Gemma (2B/7B) của Google và Llama 3 (8B) của Meta cho các ứng dụng như chatbot và tóm tắt tài liệu.
-
Cải thiện hiệu suất: Với 24GB vRAM, GPU L4 có thể xử lý các mô hình lên đến 9 tỷ tham số, cung cấp tốc độ token nhanh cho các mô hình phổ biến như Llama 3.1 (8B), Mistral (7B), và Gemma 2 (9B).
-
Tối ưu hóa chi phí: Khả năng thu nhỏ về không của Cloud Run khi không sử dụng giúp tối ưu hóa chi phí cho các tác vụ suy luận AI.
-
Đơn giản hóa triển khai: Bản chất serverless của Cloud Run loại bỏ nhu cầu quản lý cơ sở hạ tầng, giúp các nhà phát triển tập trung hơn vào ứng dụng AI của họ.
-
Đa năng: Ngoài suy luận AI, hỗ trợ GPU còn mở rộng cho các tác vụ đòi hỏi tính toán cao khác như nhận dạng hình ảnh, chuyển mã video và render 3D.
Ban đầu, hỗ trợ GPU cho Cloud Run sẽ có sẵn tại khu vực us-central1 (Iowa), với kế hoạch mở rộng sang châu Âu và châu Á vào cuối năm nay. Các nhà phát triển có thể gắn một GPU NVIDIA L4 cho mỗi phiên bản Cloud Run mà không cần đặt trước.
Bản cập nhật này đại diện cho một bước tiến quan trọng trong việc làm cho suy luận AI trở nên dễ tiếp cận và tiết kiệm chi phí hơn cho các doanh nghiệp thuộc mọi quy mô. Bằng cách kết hợp sự đơn giản của kiến trúc serverless với sức mạnh của GPU NVIDIA, Google Cloud đang định vị mình là một đối thủ mạnh trong thị trường cơ sở hạ tầng AI đang phát triển nhanh chóng.
Các nhà phát triển quan tâm đến việc thử nghiệm Cloud Run với GPU NVIDIA có thể đăng ký chương trình xem trước tại g.co/cloudrun/gpu.