Alibaba ra mắt mô hình trí tuệ nhân tạo Qwen3-Next hiệu quả hơn

Jinse Finance đưa tin, Tongyi Qianwen thuộc Alibaba đã phát hành kiến trúc mô hình nền tảng thế hệ tiếp theo Qwen3-Next, đồng thời mã nguồn mở loạt mô hình Qwen3-Next-80B-A3B dựa trên kiến trúc này. So với cấu trúc mô hình MoE của Qwen3, kiến trúc mới đã thực hiện các cải tiến cốt lõi sau: cơ chế chú ý hỗn hợp, cấu trúc MoE có độ thưa cao, một loạt các tối ưu hóa thân thiện với sự ổn định khi huấn luyện, cũng như cơ chế dự đoán nhiều token giúp nâng cao hiệu suất suy luận. Dựa trên cấu trúc mô hình Qwen3-Next, Alibaba đã huấn luyện mô hình Qwen3-Next-80B-A3B-Base, mô hình này có 80 tỷ tham số nhưng chỉ kích hoạt 3 tỷ tham số. Mô hình Base này đạt hiệu suất tương đương hoặc thậm chí tốt hơn một chút so với mô hình dense Qwen3-32B, trong khi chi phí huấn luyện (giờ GPU) chỉ bằng chưa đến một phần mười của Qwen3-32B, và thông lượng suy luận trong ngữ cảnh trên 32k cao hơn gấp mười lần so với Qwen3-32B, đạt được hiệu quả tối ưu về chi phí huấn luyện và suy luận.