組織為什么要在機器學習治理上掙扎?當我們要為組織解決機器學習治理時，我們看到客戶面臨五個主要挑戰(zhàn)。
機器學習模型治理是組織如何控制訪問、實現(xiàn)策略和跟蹤模型活動的整個過程。這是降低模型失效、法規(guī)遵從性和攻擊風險的必要條件。治理是將組織的底線和品牌風險最小化的基礎。具有有效機器學習治理的組織不僅具有對模型在生產中的運行方式的細粒度控制和可見性，而且通過將AI/ML治理策略與IT策略的其余部分集成，它們可以釋放運營效率。
通過治理，組織可以了解可能影響模型結果的所有變量，從而幫助他們快速識別和緩解可能降低結果準確性和應用程序性能的問題(例如模型漂移)。這些問題會隨著時間的推移，直接影響企業(yè)的底線，并隨著時間的流逝削弱客戶對品牌的信任。
在一份有關機器學習治理的白皮書中有提到管理人工智能治理的7步框架。
首先我們要知道，組織為什么要加大力度進行機器學習治理?
機器學習治理是各組織在2021年面臨的最大挑戰(zhàn)，因為它們正競相擴大機器學習能力，以在快速發(fā)展的數(shù)字化市場中保持競爭力。(資料來源:2021年企業(yè)機器學習趨勢報告)
當我們的客戶需要為他們的組織解決機器學習治理時，我們看到了五個主要的挑戰(zhàn)。
●不清楚什么是最佳實踐：我們仍處于機器學習治理的初期，組織缺乏明確的路線圖或規(guī)范性建議，無法在自己特定的環(huán)境中進行有效實施。
●相關法規(guī)不夠完善：不斷變化和模糊的監(jiān)管環(huán)境導致了不確定性，公司需要投入大量資源來維持合規(guī)。那些不能跟上的公司可能會失去競爭優(yōu)勢。
●現(xiàn)有的解決方案都是手動的且不完整：即使是今天正在實施治理的組織，也是使用各種各樣不同的工具和手動流程拼湊而成。這樣的解決方案不僅需要持續(xù)的維護，而且它們還存在覆蓋范圍的關鍵缺口。
●機器學習不容易集成到現(xiàn)有的IT策略中：有效的機器學習治理需要與IT協(xié)作，但大多數(shù)組織仍然將機器學習視為精品計劃——這使得它難以集成到更標準化的企業(yè)IT流程和技術堆棧中。
●管理不善的機器學習給公司資產帶來風險：實施機器學習的公司面臨著品牌和利潤的風險。這些存在偏差或不被理解的模型可能會侵蝕客戶對品牌的信任，而不被監(jiān)控的模型可能會在生產中失敗。
組織應采取哪些措施來改善機器學習治理?
組織應該實施一個可以解決上述機器學習治理挑戰(zhàn)的MLOps平臺。否則組織就不得不拼湊起來并維護他們自己的解決方案。無論哪種方式，你都要確保能夠支持以下7個關鍵層面：
●完整的模型目錄，包括模型風險文檔，用于訓練和預測模型數(shù)據源的描述以及模型輸出的目標和使用。
●基于風險梯度的靈活模型風險管理框架：高風險模型得到更多的驗證、測試和監(jiān)控，而低風險模型得到更輕松的接觸，將更多的責任委派給業(yè)務單元或模型開發(fā)人員;
●擁有一個有效的過程，用于將模型部署并集成到舊系統(tǒng)和數(shù)據體系結構中
●IT可以使用工具來操作，管理和監(jiān)視生產中模型的運行狀況，從而使模型開發(fā)人員脫離模型操作
●監(jiān)控模型準確性和數(shù)據一致性的工具，如果模型結果或輸入數(shù)據有所偏差或輸入數(shù)據質量下降，這些工具將生成警報;
●集成的模型和數(shù)據更改管理流程，以便對數(shù)據或模型的變更進行適當?shù)臏y試和溝通，以防止意外情況的發(fā)生;
●標準的審計報告和日志，以便審查人員和審核員可以審查模型結果、變更歷史、數(shù)據錯誤或過去的模型失敗和采取措施的記錄。
