對於個人或小公司有部署使用本地大模型的需求，但由於業務需求直接部署一個開源的通用大模型又不滿足需求。這時常見的解決方案是使用RAG方案或微調模型方案。微調是使用領域知識訓練模型，使模型其具備相應的領域知識能力。微調後模型可獨立生成相應的領域知識，無需再通過RAG方案問答時通過上下文提供對應的領域知識。 模型私有化部署對顯卡資源的消耗比較高，對於一個4B模型BF16部署的資源已經達到9GB(
