← Danh mục 100 · AI Agent, LLM & Kiến Trúc Nhận Thức · Hình tương tác #006

Lò Luyện Mô Hình Ngôn Ngữ: Pre-training · SFT · RLHF · Quantization 4-bit

Hành trình chưng cất hàng chục nghìn tỷ token thô thành mô hình căn chỉnh hành vi con người và nén nhẹ chạy mượt ở biên.

Hình 6 · sơ đồ 6 trạm & 8 điểm chọn Bồn Chứa Thủy Tinh & Van Cổ Chai

Chọn kịch bản · kéo thanh · chạy mô phỏng · tháo rời

Số nhỏ trên trạm = thứ tự vận hành. Màu xám = tạm bỏ qua. Xem hình lớn ↗

Chọn kịch bản4 chế độ đối chứng

Đường đi đang kích hoạt · theo số trạm

Tỷ lệ lọc sạch dữ liệu Pre-train/SFT88 %

Khoảng tối ưu: 80 đến 95 %. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Cường độ phạt KL-Divergence (RLHF/DPO)0,12 β

Khoảng tối ưu: 0,08 đến 0,20 β. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Độ rộng bit lượng tử hóa (Quantization)4 -bit

Khoảng tối ưu: 4 đến 8 -bit. Kéo ra ngoài ngưỡng để quan sát biến đổi.

Tỷ lệ bảo toàn trí tuệ MMLU

98,6%

Dung lượng VRAM cho bản 70B

39,5GB

Điểm thắng đối kháng Arena

87,2%

Bấm vào trạm trên hình hoặc nút số bên dưới để đọc vai trò từng bộ phận.

Đọc hình như một mô hình giải thích

Hình tương tác này cô đọng cơ chế vận hành cốt lõi của chủ thể thành 6 trạm trực quan kèm đồng hồ đo và đầu ra đối chứng. Bấm vào từng hàng trong bảng tham chiếu bên dưới để nạp nhanh bộ thông số vào mô hình.

Bảng đối chiếu 4 kịch bản tham khảo (bấm vào dòng bất kỳ để áp dụng)
Kịch bản	Đường đi	Tỷ lệ lọc sạch dữ liệu Pre-train/SFT (%)	Cường độ phạt KL-Divergence (RLHF/DPO) (β)	Độ rộng bit lượng tử hóa (Quantization) (-bit)	Hệ quả quan sát
Chuẩn AWQ/GGUF 4-bit Căn Chỉnh Sắc (Tối ưu)	1 → 2 → 3 → 4 → 5 → 6	88 %	0,12 β	4 -bit	Giữ 98.6% điểm MMLU so với FP16, giảm 72% VRAM, phản hồi hữu ích tự nhiên
Dữ Liệu Bẩn & Nén 2-bit Cực Đoan (Thiếu tải)	1 → 2 → 4 → 6	35 %	0,45 β	2 -bit	Sụp đổ trí tuệ (Perplexity tăng gấp 4), lặp từ vô nghĩa và lệch chuẩn chỉ dẫn
Hack Phần Thưởng & Phình FP16 Nặng (Quá ngưỡng)	1 → 2 → 3 → 4 → 5 → 6	99 %	0,01 β	16 -bit	Reward Hacking nịnh bợ dài dòng hoặc từ chối cực đoan, tốn gấp 4 lần phần cứng
Máy Chủ Doanh Nghiệp FP8 Chuẩn Xác (Thực tế)	1 → 3 → 4 → 5 → 6	92 %	0,15 β	8 -bit	Độ chính xác gần như tuyệt đối cho bài toán tài chính và sinh code phức tạp

Fine-tuning & Alignment
Thay đổi trực tiếp trọng số thần kinh để dạy mô hình phong cách giao tiếp, định dạng chuyên biệt và kỹ năng suy luận; không phù hợp để nạp dữ liệu biến động hàng giờ.

RAG (Nạp Tri Thức Động)
Giữ nguyên trọng số mô hình nhưng tra cứu tài liệu mới nhất đưa vào cửa sổ ngữ cảnh lúc chạy; cho phép cập nhật giá bán, tồn kho tức thì và truy vết rõ nguồn trích dẫn.

Quan hệ định lượng minh họa: Hiệu_suất_Thực_thi = (Tri_thức_Nền × Độ_căn_chỉnh_SFT_DPO) × Giữ_chuẩn_Quantization ÷ Dung_lượng_VRAM