Nvidia giải thích chi tiết về CPU chuyên dụng AI thế hệ tiếp theo Vera, cho biết tốc độ nhanh hơn gấp đôi so với các CPU khác

```htmlJinse Finance đưa tin, ngày 22 tháng 7, NVIDIA đã đăng bài cho biết kết quả kiểm thử chuẩn của DeepInfra cho thấy, tốc độ của Vera CPU của NVIDIA nhanh gấp hơn hai lần các CPU khác và có khả năng hỗ trợ nhiều agent AI đồng thời hơn. Nền tảng đám mây DeepInfra là một trong những người tham gia trải nghiệm sớm hệ sinh thái AI mở của NVIDIA, đã tự thiết kế và thực hiện kiểm thử chuẩn dựa trên hạ tầng agent AI sản xuất của mình. DeepInfra xử lý gần 5 nghìn tỷ token mỗi tuần, trong đó khoảng 30% do hệ thống agent đảm nhiệm. Nền tảng đám mây của họ được xây dựng riêng cho suy luận AI với thông lượng cao. Kết quả kiểm thử cho thấy, ở cùng chất lượng dịch vụ, hỗ trợ tối đa gấp 1,6 lần số agent AI đồng thời, tốc độ hợp tác lên đến 2,2 lần, đồng thời nâng cao hiệu suất sử dụng hạ tầng và tối ưu hóa chi phí. Những kết quả này chứng tỏ NVIDIA Vera CPU có thể đạt được hiệu quả về chi phí, độ trễ thấp và thông lượng cần thiết cho AI agent sản xuất. Khi các agent AI đảm nhận các nhiệm vụ suy luận, lập kế hoạch, sử dụng công cụ và truyền dữ liệu phức tạp hơn, hiệu năng CPU ngày càng quan trọng đối với các tác vụ điều phối xung quanh mỗi lần gọi mô hình. Là một phần trong chiến lược đồng thiết kế nhà máy AI tối ưu của NVIDIA, Vera CPU được thiết kế riêng cho khối lượng công việc tác vụ agent. Kiểm thử chuẩn của DeepInfra nhấn mạnh cách mà NVIDIA Vera CPU giúp các nhà cung cấp dịch vụ đám mây nâng cao hiệu quả sử dụng hạ tầng, tối ưu hóa chi phí và hỗ trợ nhiều agent AI đồng thời hơn với cùng chất lượng dịch vụ.```