模型調校與微調

什麼是模型調校與微調？

在 Generative AI Leader 考試中，模型調校是當提示詞工程與接地技術都已用盡時才會採用的手段。身為業務領導者，你不需要自行操作訓練流程——你的職責是辨識何時調校是正確的投資、代價是什麼，以及哪些商業問題真正需要調校，而哪些問題其實並不需要。

Gemini 這類基礎模型是在龐大的通用語料庫上完成訓練後才交付使用的。它能夠撰寫文字、摘要、翻譯，以及針對幾乎任何主題進行推理——但它對你的公司一無所知。它不了解你的品牌語氣、內部術語、偏好的輸出格式，也不熟悉你所在專業領域的獨特之處。大多數情況下，你可以透過提示詞（給予清楚的指示）或接地（將模型連結至你的私有資料）來填補這個落差。但有時候這個落差太寬、太一致、太細節，光靠提示詞無法解決。這正是微調發揮價值的時機。

微調是指以一組精心整理的自有範例——輸入與理想輸出的配對——繼續訓練一個預訓練基礎模型的過程。模型因此調整內部行為，使其在往後能夠自然地以你的風格、格式或領域產生回應，而不需要在每次提示詞中重新說明一切。在 Vertex AI 上，這是一項受管理的服務：你提供範例資料集，Google 執行訓練，你取回一個只有你的組織才能呼叫的私有調校版本模型。

Generative AI Leader 考試將調校定位為策略性投資決策，而非技術練習。它測試你能否將調校正確地定位於決策階梯上、衡量其持續維護成本，並區分哪些問題是調校真正能解決的，以及哪些問題選擇調校是昂貴的過度設計。

白話文解釋

調校聽起來令人卻步，因為其中帶有「訓練」這個詞，讓人聯想到資料科學家和 GPU 機房。但調校背後的商業概念是每位管理者都已熟悉的：當通才能力不足時，你就投資培養專才能力——而這項投資包含一次性的前期成本，以及持續的維護成本。以下三個類比能讓取捨關係變得具體，並與 Vertex AI 調校的實際運作方式相互呼應。

類比一 — 送去受專業訓練的通才員工

想像你雇用了一位優秀、有能力的應屆畢業生。第一天上班，他是個通才：表達清晰、學習快速、能勝任任何交代清楚的工作。這就是開箱即用的基礎模型 Gemini。大多數工作你只需要給清楚的指示——那就是提示詞工程。當他需要公司內部資訊時，你把內部知識庫交給他在回答前先閱讀——那就是接地 / RAG。

但假設你的公司從事高度專業的稅務顧問業務，且客戶備忘錄有非常特定的行文風格。你可以為每份備忘錄撰寫一份十頁的說明書，但這樣既費力又容易不一致。於是你讓這位員工參加為期數週的專業訓練課程，透過練習數百份過去的備忘錄，直到行文風格成為本能。那門課程就是在 Vertex AI 上進行微調：你提供精心整理的輸入／輸出範例資料集，Google 執行監督式訓練，你得到一位能夠在不需要十頁說明的情況下產出正確風格備忘錄的員工。

這個類比也揭示了其中的陷阱。訓練課程需要前期的金錢與時間投入。而且若明年稅法改變，你必須再次送員工去受進修訓練——調校後的模型不會自我更新。在考試中，這是關鍵的商業洞察：調校能帶來一致性並降低每次任務的重複說明負擔，但它將一次性的提示詞撰寫工作轉化為持續的訓練與再訓練承諾。

類比二 — 教會MRT控制中心值班員你的夜市行話

想像一位普通話講得字正腔圓、如教科書般標準的語言翻譯員。他流利、文法正確、專業——這就是基礎模型。但你的公司在特定的台灣產業中營運，有其獨特的術語、產品暱稱，以及客戶期待的輕鬆、親切語氣。書本式的翻譯員說話雖然正確，但聽起來有些格格不入——太正式、缺少本土感。

你無法在對話中途遞給某人一份詞彙表來糾正口音；那正是提示詞的極限。於是你讓這位翻譯員花時間沉浸在你實際客戶對話的錄音中，直到他自然地掌握節奏、術語與親切感。那段沉浸體驗就是微調：將數百個真實範例對話饋入 Vertex AI，讓調校後的 Gemini 模型不只吸收事實，更吸收方式——語氣、措辭、格式習慣。

這個類比突顯了調校的獨特優勢：教導風格與形式，而非知識。若問題是「模型給出了正確答案，但語氣或結構不對」，調校就是合適的解方。若問題是「模型缺乏最新的事實」，調校就是錯誤的工具——你需要的是接地，因為每次事實改變就重新糾正口音，是荒謬地浪費資源。考試非常喜歡這個區別：調校塑造模型的說話方式；接地改變模型知道什麼。

類比三 — 訂製西裝與成衣

走進任何一家百貨公司，你可以買到一套成衣西裝。它能讓大多數人穿起來還算合適——這就是搭配良好提示詞的基礎模型：快速、便宜、立即可用、無需承諾。對絕大多數場合來說，成衣是完全正確的選擇，花更多錢反而是浪費。

但一位每年要上台數百次、始終需要完美呈現品牌形象的企業高管，最終會去找裁縫師。裁縫師精確量身，打造出每次穿起來都完美合身、無需調整的訂製西裝。那件訂製西裝就是在 Vertex AI 上進行微調的模型：較高的前期成本，以及等待製作的時間，換來針對高頻率、高要求需求的完美、可重複呈現的結果。

取捨關係與訂製西裝完全相同。訂製更貴、費時更長。若你的體型改變——若需求轉移——西裝必須重新修改或重製，就像調校後的模型在領域演進時必須重新訓練一樣。所以你只在常穿且完美合身確實重要時，才委託訂製一件西裝。對考試而言：調校的合理性在於高使用量加上高一致性需求；對於偶爾或實驗性的使用，成衣（提示詞工程）是更聰明、更便宜的選擇。你可以將這個思考方式與 衡量 GenAI 商業價值 中的投資報酬率相結合。

決策階梯：先嘗試成本較低的方法

本章節中與考試最相關的概念是決策階梯。當基礎模型表現不夠好時，你應該一次一級地往上爬，因為每一級都比上面那一級更便宜、更快速、維護成本更低。

1. 提示詞工程。 改寫指示：具體說明、提供情境、定義輸出格式、賦予角色。此方法零成本，數秒內即可修改。
2. 少樣本提示。 直接在提示詞中加入二至五個你想要的輸入／輸出範例。模型會模仿該模式。仍無需訓練，仍可即時修改。
3. 接地 / RAG。 將模型連結至你的私有、最新資料，使其回答有事實依據。這可修正知識與時效性落差。
4. 微調。 以精心整理的資料集訓練模型，使某個行為成為內建能力。這是最強大但也是成本最高、維護負擔最重的一級。

考試希望看到的自律是從低階開始。許多看似需要調校的問題，其實只需要更好的提示詞或加入幾個範例就能解決。調校應是一個經過深思熟慮的決策，在確認更便宜的手段已嘗試且不足後才採用——而不是反射性的第一選擇。

微調實際上改變了什麼

讓業務領導者在概念層面了解調校做了什麼、沒做什麼，是有幫助的。

調校擅長的事

調校擅長教導模型一種一致的行為——你希望它每次都以同樣方式執行的事情：

• 風格與語氣。 一致的品牌語調：親切、正式、簡潔、符合品牌形象。
• 輸出格式。 始終回傳特定結構——特定的備忘錄版面、固定的 JSON 格式、標準報告範本。
• 領域語言。 對特定領域專業術語、縮寫和慣例的流利掌握，例如醫療編碼、法律起草或半導體製造。
• 任務專精化。 更可靠地執行一項特定任務——例如將客服工單分類到你定義的類別中——超越一般提示詞所能達到的效果。

調校不擅長的事

調校對以下幾種常見需求是錯誤的工具：

• 新增最新或變動中的事實。 調校在訓練時將行為固定下來。今日的股票價格、本週的庫存、最新的政策——這些屬於接地 / RAG，詳見 接地與 RAG。
• 一次性或實驗性需求。 若你只偶爾需要某個行為，一個好的提示詞便宜得多。
• 已有更好提示詞能解決的問題。 若你尚未認真嘗試提示詞工程，你還沒有資格進行調校。

調校與接地是互補的

這是考試中一個微妙但重要的觀點：調校與接地不是競爭對手——它們是夥伴。成熟的生產系統常常同時微調模型以獲得正確的語氣和格式，並且接地在即時知識庫以獲得正確的事實。調校塑造方式；接地提供內容。你可以在 接地與 RAG 中閱讀更多關於結合事實接地與檢索的內容。

監督式微調的實務流程

監督式微調是最常見也最與考試相關的調校形式。從領導層面來看，步驟相當直覺：

1. 收集範例。 整理精心策劃的輸入／輸出配對資料集——使用者可能發送的提示詞，搭配你希望模型產生的理想回應。
2. 整理並確保品質。 資料集必須乾淨、一致，且真正具有代表性。調校後的模型品質取決於範例品質；不一致的範例會教出不一致的行為。
3. 執行調校工作。 將資料集提交至 Vertex AI。Google 處理訓練基礎設施——你不需要管理任何叢集。
4. 評估調校後的模型。 使用保留的測試範例，比較調校後的模型與基礎模型，確認它確實有所改善。
5. 部署並使用。 調校後的模型成為一個私有端點，只有你的組織才能呼叫。

領導者應牢記的關鍵數字：監督式微調通常需要大約幾百至幾千個高品質範例——遠多於少樣本提示詞中放入的少數幾個範例，但遠少於從頭建立基礎模型所需的數十億個。資料集才是真正的核心工作。一個調校專案中，大多數的努力、時間和風險都存在於組裝和整理那組範例集，而不是點擊「訓練」按鈕。

參數高效微調（adapter 與 LoRA）

領導者自然會問：「重新訓練一個巨型模型不是要花一大筆錢嗎？」在早期，全量微調——調整模型中的每一個參數——確實既緩慢又昂貴。現代調校，包括 Vertex AI 上提供的調校，使用了一種更聰明的方法，稱為參數高效微調。

便利貼的概念

直觀的解釋是：與其改寫整本參考書，不如在書上貼一疊薄薄的便利貼。原書——基礎模型的數十億個參數——保持凍結且不變。訓練只調整一小組輕量的新參數，疊加在其上。這些附加參數通常被稱為 adapter，而一種產生它們的熱門技術是 LoRA（Low-Rank Adaptation）。

這對業務的意義

參數高效微調以三種具體方式改變了經濟性：

• 更便宜、更快速。 訓練只觸及模型的一小部分，因此工作完成得更快，成本也比全量重新訓練低得多。
• 產出物更小。 LoRA adapter 體積小。你可以維護多個 adapter——一個用於法律語調、一個用於行銷語調、一個用於客服分類——全部依附在同一個共享的凍結基礎模型上，而無需儲存多個完整模型副本。
• 風險更低。 由於基礎模型是凍結的，參數高效微調在教導模型新專長時，較不容易損害模型廣泛的通才能力。

對於 Generative AI Leader 考試，你不需要懂 LoRA 的數學原理。你需要的是商業層面的理解：現代調校是參數高效的，意味著它遠比人們想像的便宜且風險更低，因為它是添加一個薄薄的專門層，而不是重建整個模型。

蒸餾：更小、更便宜的專才模型

蒸餾是另一種調校家族的技術，具有明確的商業回報。概念是：使用一個大型、強大、昂貴的「教師」模型，訓練一個更小、更快、更便宜的「學生」模型，使其幾乎同樣能夠執行特定任務。

日常生活中的類比是：師傅將一項專注的技能傳授給學徒。師傅無所不知且被高度需求，因此每件例行工作都去諮詢師傅既慢又貴。於是師傅對學徒進行密集的特定任務培訓。此後，學徒能快速且廉價地處理那項任務，師傅則保留給真正困難的案例。

在 Vertex AI 的情境中，像頂級 Gemini 變體這樣的大型模型作為教師，產生高品質的範例輸出，而較小的模型則被調校為學生，學習模仿它們。商業效益如下：

• 較低的推論成本。 較小的模型每次請求費用較低——在高使用量時，每次請求的成本主導了總體費用。
• 較低的延遲。 較小的模型回應更快，這對互動式應用程式至關重要。
• 專業化的品質。 在它被蒸餾出的特定任務上，學生模型可以媲美大得多的教師模型。

取捨在於：學生模型是一個專才，而非通才。它在被蒸餾的那一項任務上表現優異，在其他方面則較弱。當情境描述的是高使用量、定義明確、重複性的任務，且每次請求的成本和速度是主要考量時，蒸餾是正確答案。

成本、資料與維護的取捨

對領導者來說，調校最好被理解為一種兼具資本成本與營運成本的投資。有三個取捨維度需要衡量。

成本維度

調校有提示詞工程沒有的成本：

• 一次性訓練成本。 在 Vertex AI 上執行調校工作需要消耗運算資源。參數高效微調使這個成本保持在合理範圍，但它永遠不會是零。
• 資料準備成本。 組裝和整理數百至數千個高品質範例需要熟練的人力——通常是最大的一筆支出。
• 持續的推論成本。 調校後的模型按使用量計費，與任何模型相同。蒸餾出的較小模型可以降低這個成本；調校後的較大模型則不會是免費的。

資料需求維度

提示詞工程需要零個或少量範例。接地需要一個維護中的知識庫。調校需要一個大量、精心整理、已標記的資料集——關鍵是，資料必須品質高。劣質範例產生劣質調校模型。若一個組織無法組裝乾淨的資料集，就還沒有準備好進行調校。

維護維度

這是最常被忽視的維度，也是考試最喜愛的主題。提示詞可以在數秒內修改。調校後的模型在訓練時就已凍結——它不會自行學習新事物。當你的風格指南改變、領域演進、新產品上市時，你必須收集新的範例並重新執行調校工作。每個調校後的模型因此都是一個持續的維護承諾，而非一次性的交付物。

何時調校值得——何時是過度設計

考試會呈現各種情境，並要求你判斷調校是否合理。以下是常見的模式。

調校值得投資的情況

• 你需要在大規模下保持一致的品牌語氣。 每天產生數千則客戶訊息的公司，若每則訊息都必須聽起來具有鮮明品牌特色，那麼將語氣融入模型而非在每次提示詞中重新指定，能帶來真實的價值。
• 你在專業化領域中運作。 具有密集術語和慣例的領域——臨床記錄、法律合約、保險核保——其中通用模型能力足夠但不夠流暢，可以從領域微調中獲益。
• 你需要嚴格、可重複的輸出格式。 當下游系統每次都依賴精確的結構時，調校後的模型比單純的提示詞指示更可靠。
• 使用量高且任務穩定。 高請求量能攤銷前期成本；穩定的任務能降低再訓練費用。蒸餾在此特別具有吸引力。
• 提示詞已變得難以維護。 當你的提示詞已成長為一份多頁的說明文件，只是為了獲得可接受的行為時，調校可以將那個負擔移入模型並簡化操作。

調校是過度設計的情況

• 更好的提示詞就能解決。 若你尚未認真反覆優化提示詞設計，調校就還太早。請參見 提示詞優化技術。
• 需求是關於事實，而非行為。 最新的、變動的或公司特定的事實屬於接地，而非調校。
• 使用案例是實驗性或低使用量的。 試驗版、概念驗證或偶發性任務，不值得前期和維護成本。
• 需求頻繁變動。 變化快速的目標意味著持續的再訓練——既昂貴又脆弱。提示詞和接地可以即時調整。
• 你缺乏品質資料集。 沒有乾淨、精心整理的範例，就無法得到好的調校模型。正確的第一步是建立資料集，而非啟動調校工作。

Vertex AI：調校發生的地方

在 Google Cloud 上，Vertex AI 是模型調校進行的平台。對於 Generative AI Leader，值得了解的重點是關於能力與責任，而非配置細節。

調校是受管理的服務

Vertex AI 以完全受管理的服務方式執行調校。你提供精心整理的範例資料集；Google 配置訓練基礎設施、執行工作並託管結果。你的團隊不需要建立或管理任何 GPU 叢集。這大幅降低了門檻——一個組織不需要深厚的 ML 基礎設施團隊就能調校模型。

你取得的成果

一個調校工作會產生一個私有的調校版本模型，只能透過你的組織自己的端點存取。你調校後的 Gemini 不會洩漏給其他 Vertex AI 客戶，Google 也不會使用你的調校資料來訓練其基礎模型。這項資料治理保證對受監管行業非常重要，也是考試常見的討論主題。

調校與其他手段並存

Vertex AI 也是你進行提示詞設計、管理接地與檢索、評估模型，以及在生產環境中監控模型的地方。由於決策階梯的全部四個級別都存在於同一個平台上，一個團隊可以從提示詞開始，加入接地，再升級到調校，無需更換廠商或重建其技術堆疊——這是向高管強調的連續性優勢。

領導者的角色

你不會執行調校流程。你的角色是決定調校是否合理、為前期和持續的維護成本編列預算、確保能組裝出高品質的資料集，以及設定預期——調校後的模型是一個需要定期再訓練的活躍資產。調校既是組織承諾，也是技術承諾。

一個實際的商業範例

考慮一家使用 Gemini 進行客戶服務的台灣電商公司。團隊從第一級開始：一個好的提示詞。回覆是準確的，但聽起來太過通用和官方——不符合品牌所著稱的溫暖、親切語氣。他們爬到第二級，加入少樣本範例；語氣有所改善，但提示詞現在已很長，而且在每天數千則訊息中，回覆仍然不夠一致。

他們考慮第三級——接地，並確實採用了——將模型連結至即時產品目錄和政策資料庫，使回答保持事實準確。這修正了準確性，但沒有解決語氣的問題。

現在這個決策是真正值得的。需求具有高使用量（每天數千則訊息）、穩定性（品牌語氣很少改變）和一致性要求（每則回覆都必須符合品牌形象）。因此團隊整理了約一千個過去的優質客服回覆範例，並在 Vertex AI 上執行監督式微調工作。調校後的模型現在自然地產生符合品牌的回覆，提示詞縮短回一段簡短的指示，而一致性也提升了。為了控制這個使用量下的成本，他們也探索將模型蒸餾為一個較小的學生模型。

關鍵是，領導層為每季再訓練編列預算，以吸收新產品和政策的變動。調校後的模型被視為一個需要維護的資產，其價值使用 衡量 GenAI 商業價值 中的方法持續追蹤。這就是完整的決策階梯，依序爬升，並且深思熟慮地選擇調校——恰好是考試所獎勵的判斷力。

常見問題

微調與提示詞工程有什麼不同？

答： 提示詞工程改變的是你在請求時傳送給模型的指示——即時生效、免費，且不需要訓練。微調改變的是模型本身，透過在精心整理的範例資料集上繼續訓練，使某個行為成為內建能力。提示詞工程是決策階梯的第一級；調校是最後一級。你應該在考慮調校之前，先窮盡提示詞工程（以及少樣本提示和接地），因為調校有前期訓練成本、需要標記的資料集，並會產生持續的再訓練義務。

我應該何時微調而非使用接地 / RAG？

答： 使用「行為與知識」的測試。微調用於當你需要改變模型的行為方式——其風格、語氣、輸出格式或領域流暢度。使用接地 / RAG用於當你需要改變模型知道什麼——提供最新的、變動的或公司特定的事實。調校在訓練時固定行為，無法跟上變動的事實；接地在請求時注入最新資料，但不會重塑語氣或格式。成熟的系統往往同時使用兩者：調校用於方式，接地用於內容。

微調一個模型需要多少資料？

答： 遠少於建立基礎模型所需，但遠多於少樣本提示詞中的幾個範例。Vertex AI 上的監督式微調通常需要幾百至幾千個高品質的輸入／輸出範例配對。確切數量取決於目標行為的複雜程度，但品質比數量更重要——不一致或低品質的範例會教出不一致的行為。組裝和整理那份資料集通常是調校專案中最費力的單一工作。

什麼是參數高效微調？為什麼業務領導者應該在意？

答： 舊式的「全量」微調會調整模型中的每一個參數，既緩慢又昂貴。參數高效微調——使用 LoRA（Low-Rank Adaptation） 和 adapter 等技術——凍結大型基礎模型，只訓練一個小型附加層。對業務的理解是：現代調校遠比人們想像的便宜、快速且風險更低，因為它添加的是一個薄薄的專門層，而不是重建整個模型。你也可以在同一個共享基礎模型上，為不同目的維護多個小型 adapter。

什麼是模型蒸餾？

答： 蒸餾使用一個大型、強大的「教師」模型，訓練一個更小、更快、更便宜的「學生」模型，使其在特定任務上幾乎同樣出色。學生模型是一個專才——在其特定任務上表現優異，在其他方面則較弱。回報是更低的每次請求成本和更低的延遲，這對高使用量、定義明確、重複性任務最為重要。在 Vertex AI 上，大型 Gemini 變體可以作為教師，較小的模型作為蒸餾後的學生。

調校後的模型是一次性專案還是持續的承諾？

答： 它是一個持續的承諾。調校後的模型在訓練時就已凍結，不會自行學習新事物。當你的品牌語氣、領域慣例或產品線改變時，你必須收集新的範例並重新執行調校工作。將調校後的模型視為一位需要定期專業發展的專才員工——從一開始就為再訓練編列預算，並持續追蹤其價值，而非假設它永遠保持最佳狀態。

我需要資料科學團隊才能在 Vertex AI 上調校模型嗎？

答： 不需要大型基礎設施團隊。Vertex AI 以完全受管理的服務執行調校——你提供精心整理的資料集，Google 處理訓練運算與託管。你確實需要的是組裝乾淨、高品質、具代表性的範例資料集的能力，以及維護和定期再訓練模型的組織自律。調校的困難部分在於資料和維護承諾，而非基礎設施。

總結：Generative AI Leader 的模型調校

對於 Generative AI Leader 考試，請將調校視為一項策略性投資決策。請牢記決策階梯——提示詞工程、少樣本提示、接地 / RAG，然後才是微調——並永遠從最便宜的一級開始往上爬。了解監督式微調是從精心整理的範例中教導模型風格、格式和領域行為；參數高效微調（LoRA / adapter） 使這個過程變得可負擔且低風險；以及蒸餾為高使用量任務產生一個更小、更便宜的專才模型。記住清楚的分工：調校改變模型的行為，接地改變模型的知識。調校值得投資的情況是高使用量、穩定且一致性要求高的需求，例如永久性的品牌語氣或專業化領域——對於更好的提示詞就能解決的問題、需求快速變動、或缺乏高品質資料集的情況，調校就是過度設計。最後，記住 Vertex AI 是調校以受管理服務方式進行的地方，每個調校後的模型都是一個既有前期成本又有持續維護承諾的活躍資產。