2026-09-09 · 67 次阅读 本地部署大模型 本文以Qwen3.8-27B为例，讲解如何在本地部署大模型。 # 一、选定模型和推理引擎 不同格式的模型文件需要用不同的推理引擎加载，选择合适的推理引擎。常见的有如下，这里选择GGUF，用ollama加载 | 量化格式 | 全称 ... #大模型