大型語言模型已經變得非常強大，但現成的模型往往在特定領域/應用上有所不足。LLM 微調是在自定義數據集上進一步訓練預訓練 LLM，使其專門針對特定任務/領域的過程。微調使你能夠注入領域知識，使模型的語調/風格與你的品牌保持一致，並在特定任務上超越通用模型的性能。微調利用了模型的現有知識，節省了從頭開始訓練模型的巨大成本。

基礎模型比以往任何時候都更強大，但要獲得真正的價值，定製化至關重要。微調有助於讓你的模型聽起來像你公司的行話，理解你的特定語境，並滿足嚴格的準確性或語調準則。為你的用例微調一個較小的模型，可能比通過 API 為每個請求調用一個大型通用模型要便宜得多。在本速成課程中，我們將涵蓋相關概念、工具、PEFT（LoRA、QLoRA）、最佳實踐和現實世界的例子。

文章要點

• 微調通過注入特定任務的數據、術語、語調和約束，將通用 LLM 轉變為領域專家——通常比依賴大型通用 API 提供更高的準確性和更低的推理成本。
• 並非每個問題都需要微調：提示工程適用於快速迭代，RAG 更適合快速變化的知識，而當行為、風格、延遲、隱私或離線使用真正重要時，微調是最佳選擇。
• 參數高效微調（PEFT）是實踐中的默認選項。像 LoRA 或 QLoRA 這樣的技術使得能夠用小型 GPU、極少量的可訓練參數來微調大模型，並降低了災難性遺忘的風險。
• 你的數據質量和評估方法比模型大小更重要：一個精心策劃、具有代表性的訓練數據集和一個健壯的評估流程（定量評估和人工評審的結合）是微調成功的最主要驅動力。
• 微調是一個生命週期，而非一次性任務：生產級系統需要監控、版本控制、回滾計劃以及定期重新訓練或數據收集，以確保長期的安全性、可靠性和高投資回報率。

你必須首先理解的關鍵概念

在深入工作流程之前，讓我們先了解一些關於 LLM 微調的基礎概念和術語。

預訓練 vs. 微調 vs. 對齊

預訓練是使用自監督學習在廣泛語料庫上對 LLM 進行的首次訓練。此時，模型學會對一般語言進行建模（例如，預測數十億個句子中的下一個單詞）。預訓練是無監督的，並且非常昂貴（想想訓練 GPT 規模模型所需的數十億美元計算資源）。

微調發生在預訓練之後。它是遷移學習的一種形式。你拿取預訓練的模型（該模型具有“一般性知識”），並針對更具體的任務，在更具體、帶標籤的數據集上進一步訓練它。微調是一個有監督的學習過程——你給模型提供示例輸入和期望的示例輸出（該任務的“真實情況”）並調整模型以產生這些輸出。例如，在對互聯網上所有文本進行預訓練後，你可以在法律問答對的數據集上微調模型，以構建一個法律助手。

對齊是一系列訓練步驟，旨在調整模型的行為以更好地匹配人類意圖、道德或偏好。最著名的對齊技術是基於人類反饋的 強化學習。在 RLHF 中，在以監督方式進行微調之後，你使用人類評估員對模型的輸出提供反饋，然後進一步訓練模型以產生評分更高的輸出。這是一種讓模型不僅更具任務效能，而且根據人類評審員的定義，更樂於助人、無害和誠實的方法。對齊通常利用諸如先訓練一個獎勵模型（用於為輸出評分），然後使用強化學習對 LLM 進行微調以優化該獎勵分數的技術。

總結來説，預訓練賦予模型通用能力，微調教給它特定任務的技能，而 RLHF 等對齊技術則調整其行為，使其對用户來説合適且安全。這些階段之間的區別可能有些模糊（例如，指令調優既可以描述為微調也可以描述為對齊），但記住這些差異仍然是有幫助的。

持續預訓練（也稱為領域自適應預訓練）是一種相關方法。你在目標領域的無標籤數據上繼續訓練模型以吸收行話，然後進行有監督的微調。這與常規微調的不同之處在於它是無監督的；它更像是使用專門文本對原始預訓練的延伸。持續預訓練可用於加深模型的領域知識，而微調則針對特定任務提高其性能。

有監督微調 & 指令調優

有監督微調是最簡單的一種微調：你擁有輸入和輸出的配對，並且訓練模型根據輸入生成期望的輸出。輸出可以是分類標籤、提示的預期續寫等等。在客户電子郵件（輸入）和最佳答案（輸出）對的數據集上微調 GPT-3 就是有監督微調；模型學會將電子郵件作為輸入併產生正確的響應。SFT 需要大量高質量的標註數據（創建成本可能很高），但對於定義明確的任務效果很好。

指令調優是 SFT 的一種特定情況，其中數據集包含指令和理想響應。這種微調的目的是提高 LLM 遵循自然語言指令的能力。

在實踐中，當為當今大多數應用程序微調模型時，你可能會使用一個經過指令調優的基礎模型，並在你的領域指令上進一步微調（這實際上是特定領域的指令調優）。例如，你可能從一個模型的“instruct”版本（例如 Llama-2-13b-chat）開始，並在你公司的問答對上對其進行微調。在這種情況下，模型已經知道如何響應指令；現在你教它如何給出你類型的答案。這比微調原始模型效果更好，所需數據更少。模型已經具備遵循提示的通用能力。

參數高效微調基礎（LoRA、QLoRA、適配器）

微調 LLM 的一個主要挑戰是其規模。“完整”的微調會重新訓練模型中的所有參數。對於一個 7B 的模型，這代表需要更新數十億個權重（確實如此），而對於 70B 及更大的模型，數量級更高。這意味着僅僅為了模型和優化器就需要巨大的 GPU 內存(例如 DigitalOcean 雲平台的NVIDIA B300雲服務器），同時也存在過擬合或災難性遺忘模型預訓練能力的風險。參數高效微調應運而生：這是一組技術，它們只調整模型的一小部分參數，從而極大地減少資源需求。

使用 PEFT，你不是修改模型中 100% 的權重，而是添加一些小的適配器權重或低秩分解矩陣，並且只訓練這些部分，同時讓原始模型權重大部分保持凍結。這導致需要更新的參數數量少得多（通常 <1%），內存使用更低，並且能夠在單個 GPU 上微調非常大的模型。

兩種流行的 PEFT 方法是 LoRA 和 QLoRA：

• LoRA （低秩自適應）： 這種 PEFT 方法涉及將小型學習矩陣添加到模型的權重矩陣中。其思想（Hu 等人，2021）是適應模型所需的變化存在於一個低維子空間中。LoRA 不完全更新大小為 NxN 的權重矩陣 W0，而只學習兩個小得多的矩陣 A 和 B（大小為 Nxr 和 rxN），使得 W0 + A*B 是微調後權重的良好近似。r 代表低秩（例如 4、8 或 16）。這大大減少了可訓練參數的數量——例如，一個約有 59 萬個參數的密集層可以用 <7k 的總 LoRA 參數進行微調。此外，由於只有 A 和 B 有梯度，梯度和優化器的內存使用量很小，並且原始權重從不改變（避免了一些遺忘）。
• QLoRA（量化 LoRA ）： QLoRA 是一種相關方法，它在訓練期間將基礎模型的權重量化為 4 位精度。通常，要微調一個大模型，你會以 16 位或 32 位浮點精度加載它，這需要大量內存。QLoRA 使用 4 位整數值加載模型（同時使用一些技巧在保持準確性的前提下做到這一點），然後在上面應用 LoRA。這可以將內存使用量減少幾個數量級——突然間，可以使用 QLoRA 在具有足夠 VRAM 的單個 GPU 上微調 30B 或 65B 的模型。量化模型的權重是凍結的（通常完全不反向傳播到 4 位權重，或以有限的方式進行），而你仍然以 16 位訓練 LoRA 適配器權重。

除了 LoRA/QLoRA，PEFT 還可以涵蓋其他方法，例如適配器（在每個 Transformer 塊中插入的小型前饋模塊，僅訓練這些模塊而凍結主權重）或提示調優（學習軟提示向量）。然而，就微調 LLM 而言，LoRA 風格的方法是目前最主流的方法，因為它們在簡單性和有效性之間取得了良好的平衡。我們將在工作流程中展示如何使用它們。

決策清單：你 真的 需要微調嗎？

在投入微調之前，請評估以下因素：

• 領域特異性 – 你的用例是否是一個非常特定領域的用例，可能包含基礎模型不熟悉的詞彙或風格/術語？微調在這種情況下非常適用，因為它能夠整合特定領域的知識/小眾術語/行話。
• 知識更新頻率 – 你的用例是否需要知識變化/頻繁變化？如果是這樣，微調可能是一個維護噩夢（你將不得不經常重新訓練和重新部署）。對於動態信息（實時產品庫存？每日新聞？），RAG 在此類用例中更有用。
• 延遲和離線要求 – 是否需要極低延遲，甚至無需外部調用的本地推理？微調後的模型將能夠完全離線在你自己的硬件上運行，並且幾乎可以即時回答（而 RAG 則需要檢索文檔）。這對於隔離部署或具有毫秒級延遲要求的情況來説是一個優勢。RAG 的額外步驟會引入額外的延遲。
• 隱私和合規性 – 模型是否會處理敏感數據（客户數據、專有文檔/文本）？使用微調且自託管的模型允許你將所有處理完全保持在內部。RAG 可以自託管，但微調是確保模型本身“內化”私有知識的唯一方式（在這種情況下 RAG 並不是一個真正的選擇）。如果使用 RAG，模型將調用外部源，你需要自己託管該外部源。
• 推理成本和規模 – 微調模型允許使用更短的提示，因此每個請求的成本比增加檢索開銷的 RAG 要低。

怎麼決定何時該微調 LLM ？

微調是一項強大的技術，但它並不總是正確的解決方案。考慮它與其他方法的比較：

微調 vs. 提示工程

提示工程是編寫模型輸入以影響模型輸出的過程。它不會改變模型參數本身。提示工程迭代速度快，無需訓練：你只需編寫指令或示例。它也是資源高效的（你不需要 GPU）。提示的缺點是它們可能會達到某種上限：你可能會遇到上下文長度限制，或者對於複雜任務，輸出可能不一致或不準確。

微調通過在有標籤的示例上訓練模型來改變模型的權重。這允許更深層次的定製。微調後的模型將能夠執行你想要的任何行為，而無需每次提供長提示，因為它已經學會了該行為。

權衡在於微調需要大規模的 GPU 計算和高質量的訓練數據。在實踐中，提示工程對於原型設計和管理簡單用例或調整效果很好。當你對任務和想要訓練的數據有明確的把握時，微調對於更持久、更穩健的變更更為有效。這兩種方法並不互斥——許多項目利用提示修改，如果僅靠提示無法達到期望的準確性或一致性水平，則也執行微調。

微調 vs. RAG vs. 工具/智能體

檢索增強生成是另一種選擇：不是修改模型，而是賦予其訪問外部知識源的能力。當查詢時，RAG 系統搜索

並拉入相關文檔整合到提示中。這有助於讓模型的知識保持最新，並通過將答案植根於檢索到的文本來幫助減少幻覺。當你需要最新的知識，或者你的數據太大/太不穩定而無法注入模型時，RAG 非常有用。

相比之下，微調將領域知識烘焙到模型的權重中。模型本身成為一個自包含的專家，不再需要查找信息來回答已知情況。這提供了低延遲的響應（在運行時無需檢索），並使模型能夠內化數據中更微妙的方面（例如上下文細微差別、風格）。然而，微調模型中的知識是靜態的：如果數據更新，你必須重新訓練以刷新模型的知識。微調本身也沒有賦予模型引用來源/參考資料的能力，而 RAG 方法可以引用它檢索到的文檔。

對於許多應用，混合方法通常效果最好。你可以微調一個 LLM，為其提供一個良好的基礎行為（例如，它已經擅長遵循指令和你領域的行話），然後使用 RAG 為其提供最新的事實。

有時，你可以通過使用帶有工具的 LLM 來避免大量的微調。例如，不要微調模型來執行復雜的數學運算，而是使用一個提示來調用 API 處理困難部分（一種智能體方法）。

LLM 微調工作流程

本節將引導你完成從規劃一直到部署的八個步驟的 LLM 微調工作流程。

步驟 1 – 定義你的用例和成功指標。

每個微調項目都應從一個明確的目標開始。你想構建什麼？合同分析助手？客户支持聊天機器人？代碼生成助手？還是其他？儘可能精確地定義用例；這將指導所有其他決策（數據、模型選擇等）。與用例一起定義成功標準。選擇能夠捕捉模型期望行為的指標或評估標準。例如：

好的，這是你要求的“步驟 2 – 選擇基礎模型”中的完整表格：

步驟 2 – 選擇基礎模型

接下來，選擇你想要微調的基礎 LLM。你選擇的基礎模型至關重要；你需要一個 A) 對當前任務足夠強大，B) 允許用於你的預期用途（許可證），C) 考慮到你的硬件，可以進行合理微調的模型。下表列出了在此步驟中需要考慮的一些因素：

步驟 3 – 收集並準備你的訓練數據

高質量的數據，並且是為你的任務量身定製的，是成功的關鍵。數據收集和準備是最耗時的環節。其子步驟包括數據收集、清理和格式化。

下表概述了為微調大型語言模型準備數據的端到端工作流程的高層次視圖。它將引導你完成三個主要階段：(1) 從所有來源收集數據（領域文檔、任務演示、合成數據和公共數據集），(2) 清理和預處理這些數據，使其達到適當的質量、隱私和平衡性，以及 (3) 將數據格式化為模型就緒的輸入-輸出對，這些配對遵循模型在生產環境中將被提示的方式。

處理大規模訓練數據需要可靠的存儲。大多數大型雲平台的存儲與數據傳輸費用高昂，而 DigitalOcean 雲平台則提供了極具性價比的解決方案。DigitalOcean Spaces 對象存儲 服務不僅成本透明低廉，可以方便地從不同的訓練實例高速讀取，並確保數據持久性。

步驟 4 – 選擇微調策略

現在你已經有了數據和模型——具體將如何進行微調呢？下表比較了適配大型語言模型的最常見策略：全參數微調、參數高效微調（PEFT，包括 LoRA 和 QLoRA）、上下文學習以及混合方法。

步驟 5 – 設置你的工具和環境

確定策略後，設置運行微調的環境。下表總結了 LLM 微調的實際環境設置。它包括硬件要求、核心庫和框架、可選的管理平台，以及配置和測試訓練腳本的典型工作流程。

步驟 6 – 訓練循環和超參數

是時候進行微調了！此步驟是運行實際的訓練過程並調整超參數以使其能夠學習。這裏我們介紹關鍵的訓練循環超參數以及微調 LLM 的操作實踐。

步驟 7 – 評估和驗證

訓練好模型後，下一步是評估你的微調模型，看看它是否達到了步驟 1 中定義的成功標準。評估應包括定量指標和定性分析。

評估維度 / 步驟

步驟 8 – 部署微調模型

最後一步是將你的微調模型投入生產使用。對於 LLM，部署意味着使其能夠在所需規模上為推理查詢提供服務，並將其與你的應用程序集成。下表總結了如何在生產中部署和服務微調後的 LLM。

示例 PEFT 項目模板（高級代碼大綱）

讓我們嘗試組合一個 PEFT 微調項目的高級模板。這彙集了許多步驟。我們將使用偽代碼/清單風格來呈現完整的項目結構和步驟：

1、 設置：選擇模型並安裝庫。

pip install transformers datasets peft bitsandbytes accelerate

示例 MODEL_NAME（例如 "mistralai/Mistral-7B-Instruct-v0.2"）。

2、 以 4 位加載模型並添加 LoRA：

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training

model_name = "mistralai/Mistral-7B-Instruct-v0.2"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    load_in_4bit=True,
    device_map="auto",
    torch_dtype=torch.float16,
)

model = prepare_model_for_kbit_training(model)

lora_config = LoraConfig(
    r=8,
    lora_alpha=32,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj"],
    lora_dropout=0.05,
    bias="none",
    task_type="CAUSAL_LM",
)

model = get_peft_model(model, lora_config)
model.print_trainable_parameters()

這裏的 prepare_model_for_kbit_training 正在執行各種推薦的操作（梯度檢查點、將層規範轉換為 fp32 等）以確保 QLoRA 的穩定性。

3、 準備數據：

• 將你的數據集加載或創建為訓練示例列表。
• 進行分詞化並格式化為輸入 ID 和標籤。

4、 訓練循環（使用 HF Trainer 或自定義）：

from transformers import TrainingArguments, Trainer

training_args = TrainingArguments(
    output_dir="outputs/my-model",
    per_device_train_batch_size=2,
    gradient_accumulation_steps=16, # 有效批次大小 32
    num_train_epochs=3,
    learning_rate=2e-4,
    fp16=True,
    logging_steps=10,
    save_steps=50,
    save_total_limit=2,
    evaluation_strategy="epoch",
    report_to="none")
trainer = Trainer(model=model, args=training_args,
                  train_dataset=train_dataset, eval_dataset=val_dataset)
trainer.train()

我們執行梯度累積以達到批次大小 32。我們定期保存檢查點（每 50 步），並保留最後 2 個。如果可用，在每個輪次對 val_dataset 進行評估。

5、 評估：

訓練後，加載最佳模型（訓練器應該已經保存了它，或者使用最後一個檢查點）：

model.eval() # 運行一些已知測試：
for prompt in ["Example user query 1", "Example user query 2"]:
    inputs = tokenizer(prompt, return_tensors='pt').to("cuda")
    outputs = model.generate(**inputs, max_new_tokens=100)
    print("Prompt:", prompt)
    print("Response:", tokenizer.decode(outputs[0], skip_special_tokens=True))

如果你有結構化輸出或參考答案，則計算指標。

6、 保存 LoRA 適配器**（或合併後的模型）：

model.save_pretrained("outputs/my-model/lora") # 在 PEFT 中，默認情況下僅保存適配器

默認情況下，get_peft_model 包裝了基礎模型，因此調用 save_pretrained 將保存一個配置 + LoRA 權重（而非基礎權重）到 adapter_model.bin 或類似文件。你需要分別獲取基礎模型權重才能使用它們。或者，要獲得一個獨立的模型：

merged_model = model.merge_and_unload()
merged_model.save_pretrained("outputs/my-model/full")

這將生成一個包含完整模型（基礎+適配器合併後）的目錄。合併時要注意內存（你需要將整個模型加載到內存中）。

7、 部署準備：

• 如果使用 Transformers 進行推理，只需在那裏加載合併後的模型，或者使用 PeftModel.from_pretrained(base_model, "outputs/my-model/lora") 動態應用適配器。
• 對於專用服務（如 TGI 或 vLLM），相應地打包模型（它們通常接受包含配置和權重的模型文件夾）。
• 可選地，你可以為了推理進一步量化它（如果你計劃進行 CPU 服務，則轉換為 int4 GGML；或者為了 GPU 轉換為 int8 以減少內存佔用）。

8、 測試：如果可能，在暫存環境或真實數據的子集上進行最終測試，然後部署。

上面的模板省略了一些細節（精確的數據整理函數、任何自定義生成設置……），但它應該是你可以作為大多數任務起點的模式。

真實用例

微調不僅僅是理論練習——許多組織正在通過它來在特定應用中釋放價值。讓我們看幾個用例。

在歷史工單上微調的客户支持助手

假設一個組織多年來一直在生成客户支持日誌：電子郵件、聊天記錄、FAQ 文章等。他們想要一個 AI 助手，能夠使用現有數據快速、一致地回答客户問題。GPT-4 和類似的開源模型可以回答任何可能想到的隨機問題，但它們顯然不瞭解該組織內部任何特定的產品規格、政策或過去的解決方案細節。在過去的支持工單/解決方案上微調 LLM，可以有效地為該組織創建一個自定義的支持領域專家模型。

在合同和政策上微調的法律/合規助手

法律/合規文檔是專家知識存在於小眾行話和精確定義概念中的經典例子。通用 LLM 不具備你公司特定合同語言、政策或合規義務的先驗知識。然而，通過在你領域的文檔語料庫（合同、政策手冊、監管文件等）上進行微調，你可以構建一個具備該專家知識的模型。

例如，你可以在大量合同文本上進行微調，然後讓模型回答諸如“這份合同草案是否有競業禁止條款？如果有，總結它施加了哪些限制。”這樣的問題，其準確性將高於通用模型。它在訓練期間已經看到了許多條款變體，並學會了如何提取/理解它們。

特定領域的代碼助手（針對特定技術棧）

面向軟件開發人員的 AI 編碼助手已經被廣泛使用。然而，許多是在通用代碼和文檔上訓練的。內部公司框架、庫和代碼庫細節不一定存在於通用 LLM 中。如果你在自己的代碼庫和文檔上微調一個 LLM，你可以構建一個精通你技術棧的代碼助手。

LLM 微調中的常見陷阱（以及如何避免）

微調 LLM 可能是一項強大的技術，但如果不小心操作，也可能造成嚴重錯誤。讓我們來看看一些常見的反模式以及如何避免它們：

簡單小結一下

LLM 微調曾經是一個小眾的優化步驟。然而，它正迅速成為將強大基礎模型轉化為可靠的、特定領域系統的默認方法。通過利用預訓練能力作為起點，而不是從頭開始訓練，你可以將自己的數據、語調和約束注入模型，同時控制計算和工程工作量。有監督微調、指令調優和 RLHF 等對齊技術的結合，也提供了一個工具包來塑造模型知道什麼以及如何行為。

LoRA 和 QLoRA 等參數高效微調方法允許使用適度的 GPU 和極少量的可訓練參數來適應龐大的模型。這大大降低了實驗的門檻。結合一個原則性的決策框架，你

可以為每個用例選擇正確的技術，而不是默認選擇最昂貴的選項。

有效的 LLM 微調更多是關於一個規範的微調生命週期：定義你的用例 → 選擇合適的基礎模型 → 策劃高質量的數據 → 選擇策略（全參數微調或 PEFT） → 使用合理的超參數進行訓練 → 嚴格評估 → 部署並實施監控、版本控制和回滾。如果你將微調視為一個迭代的產品過程，而不是一次性的實驗，你就可以將通用 LLM 轉變為技術棧中可靠、高投資回報率的組件。