Hugging Face Transformers 现可直接运行 llama.cpp 的 GGUF 量化模型
Hugging Face 宣布 Transformers 支持高效加载 Hub 上的 GGUF 量化权重，复用 ggml Metal 内核，首期聚焦 Apple Silicon 与 Qwen3.5 架构本地推理。
Hugging Face 于 9 月 22 日发文称，Transformers 现已支持高效运行 GGUF 量化模型：用户可从 Hub 选取适合本机内存的 checkpoint，用熟悉的 from_pretrained 加载并生成。团队通过 kernels 库复用 llama.cpp 底层的 ggml 内核，并降低 generate 开销，力求接近 llama.cpp 的本地性能。
首期重点是 Apple Silicon 上的交互式本地推理，目前打包加载路径覆盖 Qwen3.5 稠密与 MoE 架构（含兼容的 Qwen3.8）。加载时传入 gguf_file 即可，之后仍使用标准 Transformers API；亦可用 transformers serve 提供 OpenAI 兼容接口，对接 Jan、Pi 等客户端。
官方建议从 Q4_K_M 起步，内存充裕可试 Q5_K_M 或 Q6_K。在 M2 Max 上的对比显示，Transformers 与 llama.cpp 吞吐接近。团队强调 llama.cpp 仍是追求极致本地效率的首选引擎；本集成便于在 Python/PyTorch 中做实验、评测、校验转换，以及反量化后继续微调。