DeepSeek Mở Mã Nguồn DeepInfer: Bộ Khung Suy Luận Chạy Dịch Vụ Của Chính Hãng

DeepSeek vừa mở mã nguồn DeepInfer, bộ khung suy luận (inference framework) mà hãng dùng để chạy chính các dịch vụ của mình. Mã nguồn được phát hành theo giấy phép Apache 2.0 trên GitHub; theo SiliconANGLE, thông báo được đưa ra ngày 20/10/2026.

Bài viết này giải thích DeepInfer là gì, làm được gì, cần phần cứng nào và vì sao tin này quan trọng dù phần lớn người dùng sẽ không bao giờ tự cài nó.

1. DeepInfer là gì?

Khi bạn gõ một câu hỏi vào chatbot, phần mềm nhận câu hỏi, nạp model lên GPU và sinh ra câu trả lời được gọi là bộ khung suy luận. Nó quyết định model trả lời nhanh hay chậm và mỗi câu trả lời tốn bao nhiêu tiền điện, tiền máy.

DeepSeek mô tả DeepInfer là bộ khung suy luận hiệu năng cao đứng sau các dịch vụ quy mô lớn của hãng. Bản phát hành đầu tiên gồm phần suy luận ngoại tuyến và các tính năng cốt lõi để mở rộng quy mô. README cho biết DeepInfer có gốc gác từ dự án mã mở vLLM.

DeepSeek là một trong năm cái tên trong bài top 5 AI chat phổ biến nhất hiện nay. Cập nhật: ngày 13/11/2026 hãng mở tiếp bộ API ứng dụng DeepSeek gồm tìm kiếm web, đọc file, OCR và giọng nói.

2. DeepInfer có những tính năng gì?

• Nhân tính toán tối ưu sẵn: dùng các thư viện DeepSeek đã mở trước đó là FlashMLA, DeepGEMM, DeepEP và các nhân TileLang.
• Song song hoá nhiều tầng: song song dữ liệu ở tầng attention, song song ngữ cảnh và song song chuyên gia cho kiến trúc MoE.
• Giải mã suy đoán DSpark: một model nháp đề xuất trước 5 token, một bộ phận dự đoán độ tin cậy quyết định token nào đáng kiểm. Theo SiliconANGLE, DeepSeek ước tính thông lượng tăng 4% đến 7% ở tải thực tế.
• Giảm việc ở bước prefill: DeepSeek cho biết kỹ thuật này cắt gần một nửa lượng tính toán prefill.
• Xếp lô bất đồng bộ: bật mặc định, không tốn thêm chi phí điều phối.
• Kết quả lặp lại được: suy luận không phụ thuộc cách xếp lô và lấy mẫu xác định, hiện chỉ có trên phần cứng NVIDIA.
• Đầu ra có cấu trúc: ràng buộc theo regex, JSON schema hoặc ngữ pháp EBNF.

3. DeepInfer hỗ trợ model và phần cứng nào?

Hạng mục	Hiện hỗ trợ
Model	DeepSeek-V4.1-Flash
GPU	NVIDIA SM100
NPU	Huawei Ascend 950
Hệ điều hành	Linux
Phần mềm cần có	GCC 13 trở lên, Python 3.12, CUDA 13 (NVIDIA) hoặc CANN 9.2 (Ascend)
Giấy phép	Apache 2.0

Theo SiliconANGLE, các dòng GPU NVIDIA đời cũ hơn không được hỗ trợ, và mã suy luận cho các model DeepSeek sau này sẽ được bổ sung vào cùng kho mã. Các số đo hiệu năng trong README được thực hiện trên 4 GPU SM100 cho prefill và 64 GPU cho decode.

4. Những gì chưa có trong bản phát hành

• Hệ thống quản lý KV cache.
• Tách prefill và decode ra các máy riêng.
• Cân bằng tải giữa các bản sao song song.

Theo SiliconANGLE, DeepSeek giải thích các phần này gắn quá chặt với hạ tầng nội bộ nên chưa đưa ra. Nghĩa là DeepInfer chưa phải bộ “cắm là chạy” cho một dịch vụ lớn; người vận hành vẫn phải tự dựng phần điều phối.

5. Vì sao DeepInfer đáng chú ý và ai nên quan tâm?

Ít hãng AI công bố phần mềm suy luận đang chạy thật của mình. Theo SiliconANGLE, một cụm máy của DeepSeek phục vụ tới 155 nghìn tỷ token mỗi ngày, nên những tối ưu trong DeepInfer là kết quả của việc chạy ở quy mô rất lớn.

Đối tượng	Mức độ liên quan
Người dùng chatbot thông thường	Không cần cài; hưởng lợi gián tiếp khi dịch vụ AI rẻ và nhanh hơn
Doanh nghiệp tự chạy model	Đáng xem nếu có sẵn GPU NVIDIA đời mới hoặc Ascend 950
Kỹ sư hạ tầng AI	Tài liệu tham khảo quý về cách tối ưu suy luận ở quy mô lớn
Người chơi AI tại nhà	Chưa phù hợp vì yêu cầu phần cứng trung tâm dữ liệu

6. Kết luận

DeepInfer là lần hiếm hoi một hãng AI lớn mở mã nguồn bộ máy suy luận đang chạy dịch vụ thật của mình, với giấy phép Apache 2.0. Bản đầu còn hẹp: chỉ một model, phần cứng đời mới và thiếu phần điều phối. Dù vậy, với cộng đồng làm hạ tầng AI, đây là nguồn tham khảo có giá trị và là dấu hiệu chi phí chạy AI sẽ còn giảm.

Nguồn tham khảo chính thức

Thông tin trong bài được tra cứu ngày 10/11/2026 từ kho mã của DeepSeek:

• DeepSeek – Kho mã nguồn DeepInfer trên GitHub