一句話解釋
Fine-tuning（微調）是指拿一個已經預訓練好的模型，用你自己的資料再訓練一輪，讓它更擅長處理你的特定任務。
用比喻來理解
預訓練模型就像一個受過通識教育的畢業生——他什麼都懂一點，但不是任何領域的專家。
Fine-tuning 就是讓他去做「在職訓練」：用特定領域的資料（法律文件、醫療記錄、客服對話等）再訓練一陣子，讓他在這個領域更專業。
預訓練 vs Fine-tuning
| 階段 | 預訓練 | Fine-tuning |
|---|---|---|
| 資料量 | 超大量（網路文本） | 相對少量（特定領域） |
| 訓練時間 | 數週到數月 | 數小時到數天 |
| 計算資源 | 極高（數千 GPU） | 相對低 |
| 目標 | 學會語言的通用知識 | 適應特定任務 |
你不需要從零訓練一個模型，只需要在別人訓練好的基礎上做微調。這是 Fine-tuning 最大的價值——站在巨人的肩膀上。
Fine-tuning 的類型
全量微調（Full Fine-tuning）
更新模型的所有參數。效果最好，但需要較多計算資源和資料。
LoRA（Low-Rank Adaptation）
只更新模型中一小部分的參數（低秩矩陣），大幅降低計算成本。這是目前最流行的微調方法。
Prompt Tuning
不改模型參數，只學習一組「軟提示」加在輸入前面。成本最低，但效果有限。
什麼時候該用 Fine-tuning？
適合的場景
- 需要模型產出特定風格或格式的文字
- 特定領域的專業術語和知識（法律、醫療、金融）
- 模型需要學會某種分類邏輯
- 需要更高的任務準確度
不適合的場景
- 只是需要存取最新資訊 → 用 RAG
- 只是需要改變回答格式 → 用 Prompt Engineering
- 資料量太少（幾十筆）→ 效果不會好
Fine-tuning vs RAG vs Prompt Engineering
這三個概念很常一起出現在考題中：
| 方法 | 改什麼 | 成本 | 適用場景 |
|---|---|---|---|
| Prompt Engineering | 改輸入的提示 | 零成本 | 調整回答風格和格式 |
| RAG | 加入外部知識 | 低 | 需要即時、準確的知識問答 |
| Fine-tuning | 改模型參數 | 高 | 需要模型學會新的行為模式 |
實務上，這三者經常組合使用。例如：先做 Fine-tuning 讓模型適應領域語言，再用 RAG 提供最新資料，最後用 Prompt Engineering 控制輸出格式。
注意事項
災難性遺忘（Catastrophic Forgetting）
微調過程中，模型可能會「忘記」預訓練時學到的通用知識。解決方法：
- 控制學習率（用較小的學習率）
- 混合通用資料和專業資料一起訓練
- 使用 LoRA 等參數高效的微調方法
資料品質比數量重要
100 筆高品質的標註資料，效果可能比 10,000 筆低品質的資料更好。微調的資料需要仔細清洗和標註。
iPAS 考試怎麼考？
必記重點
- Fine-tuning = 用自己的資料「再訓練」已有的模型
- 跟 RAG 和 Prompt Engineering 的差異
- LoRA 是目前主流的參數高效微調方法
- 災難性遺忘是微調的常見風險
常見考題方向
- 「某企業希望讓 AI 以特定的公司語氣撰寫行銷文案，最適合使用哪種方法？」→ Fine-tuning
- 「Fine-tuning 和 Prompt Engineering 最主要的差異為何？」→ Fine-tuning 改變模型參數，Prompt Engineering 只改變輸入
- 「使用少量資料微調模型時，最適合使用哪種技術？」→ LoRA