白話文解釋
使用模型監控治理 AI（Governing AI with Model Monitoring），就像為專業運動員進行持續的健康檢查。僅僅因為運動員在被雇用（訓練）的那天處於最佳狀態，並不意味著他們會永遠保持這種狀態。他們可能會受傷、衰老，或者比賽規則可能會改變。Governing AI with Model Monitoring 確保模型（運動員）始終處於最佳表現。
-
護欄比喻： 想像您正開車在狹窄的山路上。Governing AI with Model Monitoring 就像是車內的護欄和感測器，如果您偏離車道，它們就會發出嗶嗶聲。它不會替您開車，但會在事情開始出錯時發出警告，以便您在事故發生前修正航向。
-
試毒員比喻： 將 Governing AI with Model Monitoring 想像成皇室的試毒員。在國王（用戶）用餐（接收預測）之前，試毒員會檢查是否有毒（錯誤、偏見或漂移）。Governing AI with Model Monitoring 確保為您的客戶提供的「食物」始終是安全且高品質的。
-
煙霧探測器比喻： Governing AI with Model Monitoring 就像在巨大的倉庫中安裝煙霧探測器。您可能看不見遠處角落開始著火，但一旦空氣品質發生變化，警報就會響起。Governing AI with Model Monitoring 在數據漂移的「煙霧」演變成毀掉您業務價值的模型失效「大火」之前，就能偵測到它。
生產環境中模型監控的重要性
Governing AI with Model Monitoring 是 MLOps 生命週期的關鍵組成部分。當模型處於生產環境時，它面臨著一個不斷變化的世界。Governing AI with Model Monitoring 提供了確保模型保持準確和公正所需的透明度。如果沒有 Governing AI with Model Monitoring，您基本上是在盲目飛行，只能寄希望於您的模型仍能像訓練時那樣運作。
維持效能標準
在 Governing AI with Model Monitoring 中，主要目標是維持效能。隨著輸入數據分布的變化，模型的準確性可能會下降。Governing AI with Model Monitoring 讓工程師能夠及早發現這種退化。這就是為什麼 Governing AI with Model Monitoring 常被視為機器學習的「保險單」。
確保信任與安全
Governing AI with Model Monitoring 也關乎信任。利害關係人需要知道他們所依賴的 AI 系統是可靠的。Governing AI with Model Monitoring 提供的日誌和指標可以證明模型的行為符合預期。對於受監管的行業，Governing AI with Model Monitoring 通常是一項法律或合規性要求。
Model Monitoring (模型監控)： 在生產環境中追蹤機器學習模型的效能、健康狀況和可靠性的實踐，以檢測並減輕漂移（Drift）和偏移（Skew）等問題。
Vertex AI Model Monitoring 的預設警報閾值統一為 0.3：數值特徵採用 Jensen-Shannon divergence、類別特徵採用 L-infinity distance、特徵歸因漂移則採用正規化後的 attribution score。取樣率介於 10%（高流量端點，每秒超過 1000 次請求）到 100%（低流量端點）之間，所有警報都會以 Cloud Monitoring metric 形式發送，而非單純電子郵件通知。
檢測訓練-預測偏移 (Training-Serving Skew)
Governing AI with Model Monitoring 的一個主要焦點是檢測訓練-預測偏移（Training-Serving Skew）。當模型在生產環境中看到的數據（Serving）與其訓練數據（Training）有顯著差異時，就會發生這種情況。Governing AI with Model Monitoring 透過比較兩個數據集的統計分布來識別這些差異。
偏移 (Skew) 的原因
在 Governing AI with Model Monitoring 的背景下，偏移可能由多種原因引起。也許是數據流水線發生了變化，或者某個特徵在生產環境中的計算方式與在訓練 Notebook 中的方式不同。Governing AI with Model Monitoring 有助於精確定位是哪個特徵導致了問題。
衡量偏移
Governing AI with Model Monitoring 使用 Jensen-Shannon 散度或 L-infinity 距離等數學指標來量化偏移。透過在您的 Governing AI with Model Monitoring 配置中設置閾值，您可以在偏移變得不可接受時觸發警報。
訓練-預測偏移是一種「靜態」比較。它將訓練數據與預測數據進行一次性比較。這與漂移不同，漂移在 Governing AI with Model Monitoring 中是隨時間變化的「動態」比較。
檢測隨時間變化的預測漂移 (Prediction Drift)
Governing AI with Model Monitoring 還必須考慮預測漂移（Prediction Drift）。與偏移不同，漂移是逐漸發生的。隨著客戶行為的轉變或外部市場條件的變化，模型的輸入將會演變。Governing AI with Model Monitoring 逐日或逐週追蹤這些變化。
特徵漂移 (Feature Drift)
Governing AI with Model Monitoring 監控每個特徵的漂移。例如，如果您有一個預測房價的模型，且輸入數據中的平均利率開始上升，Governing AI with Model Monitoring 將其標記為特徵漂移。這讓您能決定模型是否需要重新訓練，作為 Governing AI with Model Monitoring 策略的一部分。
預測漂移 (Prediction Drift)
Governing AI with Model Monitoring 還會查看輸出。如果一個通常有 10% 時間預測為「是」的模型突然開始有 50% 的時間預測為「是」，Governing AI with Model Monitoring 就會發出警報。這表明您的特徵與標籤之間的關係發生了根本性的變化。
不要忽視 Governing AI with Model Monitoring 中少量的漂移。漂移通常是累積的；今天看起來很小的變化，如果不透過 Governing AI with Model Monitoring 解決，下個月可能會演變成災難性的失敗。
設置監控作業與警報
為了發揮效用，Governing AI with Model Monitoring 必須自動化。Vertex AI 允許您設置按排程運行的 Governing AI with Model Monitoring 作業。這些作業分析您的預測日誌並將其與基準（訓練數據）進行比較。
在 Vertex AI Endpoint 上啟用 Model Monitoring 之前，必須先把 prediction request-response logging 寫到 BigQuery 打開，monitoring job 才有實際流量可以採樣。若沒先啟用 logging，monitoring job 不會回報任何錯誤訊息，只會默默地不產生任何訊號。參考：request-response logging
配置閾值
Governing AI with Model Monitoring 的關鍵部分是選擇正確的閾值。如果您的閾值太嚴，您會收到太多「假警報」。如果太鬆，Governing AI with Model Monitoring 會錯過真正的問題。在 Governing AI with Model Monitoring 中找到「恰到好處」的區間是一門藝術。
警報管道
當 Governing AI with Model Monitoring 檢測到問題時，它需要通知相關人員。Vertex AI 與 Cloud Monitoring 整合，可透過電子郵件、Slack 或 PagerDuty 發送警報。這確保了正確的團隊可以立即對 Governing AI with Model Monitoring 警報做出回應。
在 Governing AI with Model Monitoring 中從保守的閾值開始，並隨著您了解生產數據的「自然」方差，隨時間不斷優化它們。
理解特徵歸因與可解釋性
Governing AI with Model Monitoring 不僅關乎模型是否失效，還關乎為什麼失效。這就是特徵歸因（Feature Attribution）發揮作用的地方。Governing AI with Model Monitoring 使用技術來確定哪些特徵對特定預測的影響最大。
局部 vs 全域可解釋性
在 Governing AI with Model Monitoring 中，局部可解釋性告訴您為什麼做出一個特定的預測。全域可解釋性告訴您模型整體的運作方式。兩者對於 Governing AI with Model Monitoring 提供完整的模型行為圖景都至關重要。
SHAP 與 Integrated Gradients 的角色
Governing AI with Model Monitoring 通常使用 SHAP (SHapley Additive exPlanations) 或 Integrated Gradients 等演算法。這些數學框架允許 Governing AI with Model Monitoring 為每個特徵分配一個「分數」，使 AI 的「黑箱」變得更加透明。
Vertex AI Explainable AI (XAI) 整合
Google Cloud 的 Vertex AI 提供內建的 Explainable AI (XAI) 功能，並與 Governing AI with Model Monitoring 緊密整合。當您啟用 XAI 時，每個預測都可以包含一個解釋。這使得 Governing AI with Model Monitoring 變得更加強大。
控制台中的可視化
透過 Vertex AI 進行的 Governing AI with Model Monitoring 包含視覺化工具，可用於查看特徵重要性。您可以查看顯示各個特徵如何對模型決策做出貢獻的圖表。Governing AI with Model Monitoring 的這種可視化方面對於除錯和與利害關係人的溝通來說非常有價值。
錯誤分析
當模型出錯時，Governing AI with Model Monitoring + XAI 可以幫助您了解根本原因。模型是否過度依賴某個特定特徵？是否存在數據質量問題？Governing AI with Model Monitoring 為您提供回答這些問題所需的證據。
Explainable AI (XAI) 是 Governing AI with Model Monitoring 中「是什麼」背後的「為什麼」。它提供了將警報轉化為行動所需的背景資訊。
處理監控中的不平衡數據
在處理不平衡數據（例如 99.9% 的案例都不是詐騙的詐騙偵測）時，Governing AI with Model Monitoring 會變得更加複雜。在這些情況下，標準的準確性指標是毫無用處的。Governing AI with Model Monitoring 必須使用更細緻的指標。
精確度、召回率與 F1 分數 (Precision, Recall, and F1-Score)
在針對不平衡數據集的 Governing AI with Model Monitoring 中，應專注於精確度和召回率。Governing AI with Model Monitoring 應該追蹤這些指標隨時間的變化。詐騙模型中召回率的下降比整體準確性的下降要危險得多。
抽樣策略
在對海量數據集進行 Governing AI with Model Monitoring 時，您可能只監控部分數據樣本以節省成本。然而，在針對不平衡數據的 Governing AI with Model Monitoring 中，您必須確保您的樣本仍包含足夠的「少數類（Minority Class）」，以具有統計顯著性。
分類模型 vs 回歸模型的模型監控
Governing AI with Model Monitoring 中使用的指標取決於模型的類型。分類模型（這是蘋果還是橘子？）的 Governing AI with Model Monitoring 與回歸模型（這間房子的價格會是多少？）的 Governing AI with Model Monitoring 看起來不同。
分類指標
對於分類，Governing AI with Model Monitoring 追蹤混淆矩陣、ROC-AUC 和 Log Loss 等指標。這些指標隨時間的變化是 Governing AI with Model Monitoring 中漂移的明確指標。
回歸指標
對於回歸，Governing AI with Model Monitoring 追蹤平均絕對誤差 (MAE)、均方根誤差 (RMSE) 和 R-squared。如果您的 RMSE 開始攀升，Governing AI with Model Monitoring 會告訴您預測正變得不那麼精確。
在 Registry 中治理模型版本
Governing AI with Model Monitoring 是更大治理框架的一部分。Vertex AI Model Registry 是您管理模型所有版本的地方。Governing AI with Model Monitoring 應該與特定版本綁定，以便您可以比較模型整個生命週期的表現。
金絲雀部署 (Canary Deployments)
在金絲雀部署期間使用 Governing AI with Model Monitoring。當您推出模型的新版本時，Governing AI with Model Monitoring 可以即時將新版本的表現與舊版本進行比較。這種「A/B 測試」是 Governing AI with Model Monitoring 的關鍵部分。
回滾程序
如果 Governing AI with Model Monitoring 檢測到新模型版本的表現不佳，您必須有一個回滾計畫。Governing AI with Model Monitoring 為這些回滾提供了數據驅動的理由，確保您的生產環境保持穩定。
閉合模型重新訓練的反饋迴圈
Governing AI with Model Monitoring 的最終目標是觸發行動。當 Governing AI with Model Monitoring 檢測到漂移或偏移時，它應該啟動重新訓練流水線。這創造了一個「閉迴圈」系統，由 Governing AI with Model Monitoring 驅動持續改進。
自動重新訓練流水線
在進階的 Governing AI with Model Monitoring 設置中，警報可以自動觸發 Vertex AI Pipeline。流水線提取新數據、重新訓練模型並對其進行評估。Governing AI with Model Monitoring 隨後監控新模型，循環往復。
人工干預
並非每個 Governing AI with Model Monitoring 警報都應觸發自動重新訓練。有時，Governing AI with Model Monitoring 識別出世界上發生的根本性變化，需要人類重新設計模型或特徵。Governing AI with Model Monitoring 是一項人機協作的工具。
常見問題
Governing AI with Model Monitoring 中偏移與漂移有什麼區別？
在 Governing AI with Model Monitoring 中，偏移（Skew）是特定時間點訓練數據與預測數據之間的差異。漂移（Drift）是預測數據分布隨時間的變化。Governing AI with Model Monitoring 同時處理這兩者，但檢測機制略有不同。
我應該多久執行一次 Governing AI with Model Monitoring 作業？
Governing AI with Model Monitoring 的頻率取決於您的數據。如果您的數據每小時都在變化（如股票價格），您可能需要每小時進行 Governing AI with Model Monitoring。對於更穩定的數據，每日或每週的 Governing AI with Model Monitoring 通常就足夠了。
Governing AI with Model Monitoring 能檢測偏見嗎？
是的，Governing AI with Model Monitoring 可以用來檢測公平性偏見。透過監控模型在不同人口統計群體中的表現，Governing AI with Model Monitoring 可以識別模型是否對某些群體不公平。
Governing AI with Model Monitoring 適用於非結構化數據嗎？
對於表格數據，Governing AI with Model Monitoring 最為直接，但也可以透過監控 Embeddings 的分布來適配非結構化數據（圖像、文本）。這是 Governing AI with Model Monitoring 中的一項進階技術。
Governing AI with Model Monitoring 相關成本有哪些？
Governing AI with Model Monitoring 成本包括預測日誌的存儲以及監控作業所使用的運算資源。在 Vertex AI 中，Governing AI with Model Monitoring 的定價取決於監控的特徵數量和作業頻率。
Governing AI with Model Monitoring 總結
Governing AI with Model Monitoring 是實驗室實驗與生產系統之間的橋樑。透過提供持續監督，Governing AI with Model Monitoring 確保您的 AI 投資能持續安全、準確地交付價值。從檢測偏移和漂移，到透過 XAI 提供可解釋性，Governing AI with Model Monitoring 是成熟 MLOps 實踐的基石。隨著您擴展 AI 計畫，Governing AI with Model Monitoring 對於維持表現、信任和合規性將變得越來越重要。今天就投資於 Governing AI with Model Monitoring，以保護您的 AI 未來。