模型量化与管理指南

量化（Quantization）是本地运行 AI 模型的关键技术，它可以显著降低显存占用。

1. 常见量化格式对比

• GGUF: llama.cpp 原生格式，兼容性最强（CPU/GPU 混合推理）。
• EXL2: 专为 NVIDIA 显卡优化的极速量化格式。
• AWQ / GPTQ: 工业界常用的推理加速格式。

2. 如何高速下载模型？

在 Linux 下推荐使用 huggingface-cli 配合多线程工具：

pip install -U "huggingface_hub[cli]"
export HF_ENDPOINT=https://hf-mirror.com  # 国内镜像加速
huggingface-cli download --resume-download 模型名 --local-dir ./path

3. 手动量化实战 (llama.cpp)

(这里将填入如何使用 quantize 工具进行模型压制的步骤…)