當前，算法歧視已是AI領域老生常談的問題，從近年來頗受關注的AI歧視事件來看，這些偏見常見于招聘、司法、貸款、入學、移民等算法評估工具。
例如，繼2018年亞馬遜的AI招聘工具被發(fā)現(xiàn)歧視女性勞動者后，2021年9月，根據(jù)哈佛商學院和埃森哲公司的最新報告，在美國，隨著每年求職者人數(shù)的增加，多達75%的雇主公司開始傾向于使用AI技術（如具有OCR功能的簡歷掃描軟件），來幫助其處理繁雜的簡歷和挑選候選人。約有2700萬“隱形人”(hidden workers)正面臨被AI簡歷工具的自動化決策進行過濾的窘境。
報告顯示，這些AI簡歷工具大多只看重簡歷的形式內容（如證件資格）而非應聘者所能帶來的實際價值，因此將許多潛在的合適人選拒之門外。其中，諸如殘疾人員、刑滿釋放人員、與配偶分隔異地的人員等具有特殊經(jīng)歷的人還會受到AI工具不同程度的排斥。[1]AI偏見可能無處不在，也亟待得到有效的治理和控制。
為此，各界都在致力于探索消除AI偏見的技術和途徑，部分組織已取得了一些有益成果。2021年6月22日，美國國家標準技術研究所（NIST）發(fā)布《關于識別和管理人工智能歧視的標準提案》（A Proposal for Identifying and Managing Bias in Artificial Intelligence），并向社會公眾征求意見。[2]
隨后，7月29日，NIST提出制定《人工智能風險管理框架》(Artificial Intelligence Risk Management Framework)并征詢各界意見，該AI風險管理框架旨在幫助AI的設計者、開發(fā)者、使用者以及評估者更好地管理AI生命周期中可能出現(xiàn)的風險。[3]NIST希望在此基礎上推動建立涵蓋AI系統(tǒng)整個生命周期的共通性標準和風險管理框架，促進可信、可負責AI理念和技術的實現(xiàn)。
那么，AI在其生命周期中可能存在哪些偏見？產(chǎn)生偏見的原因是什么？我們又應如何識別和減少AI偏見？本文將結合《提案》的內容回答這些問題。
AI系統(tǒng)歧視性風險的主要來源
《提案》認為，隨著以數(shù)據(jù)驅動(data-driven)和機器學習為核心的技術路徑越來越多地被用于AI的算法決策，AI所蘊藏的歧視性風險也逐漸暴露在真實世界中，引發(fā)了人們對于AI歧視的廣泛關注。目前，AI系統(tǒng)存在一些常見的歧視性風險，這些風險大多是由數(shù)據(jù)集和模型的不合理使用而造成的。
首先，在數(shù)據(jù)集的選擇上，AI通常難以對數(shù)據(jù)的偏見進行標識描繪和管理，原因在于其只能通過可量化、可觀察的數(shù)據(jù)來構建模型和概念。例如，在刑事司法領域，AI可用于被告人的量刑分析和預測（如Compas系統(tǒng)），對于被告人的有罪性(criminality)和人身危險性，AI通常主要根據(jù)其累犯記錄、年齡以及地區(qū)等可測量的數(shù)據(jù)進行評估。但實際上，任何代碼和參數(shù)都無法對人類復雜的語義和思維實現(xiàn)完整的概括和表達，也難以通過自然語言處理對人們的思想、情感、語言等感性內容實現(xiàn)完全轉換。因此，在從人類語義到計算機語言的編譯過程中，普遍存在信息失真和錯誤等問題。如果輸入的數(shù)據(jù)不準確或是帶有偏見，也會導致AI在數(shù)據(jù)集的訓練和決策中產(chǎn)生不公平的輸出結果。
其次，在數(shù)據(jù)集的獲取上，目前大部分AI系統(tǒng)在獲取數(shù)據(jù)集時會優(yōu)先考慮數(shù)據(jù)是否易于收集，是否存在可獲得的數(shù)據(jù)來源，而非優(yōu)先判斷該類數(shù)據(jù)集是否合適，能否滿足AI應用的功能和目的。因此，AI的研發(fā)者和實踐者只能隨“數(shù)據(jù)”應變(go where the data is)，以數(shù)據(jù)集內容來決定系統(tǒng)的開發(fā)方向，而不是根據(jù)系統(tǒng)的實際需求來收集數(shù)據(jù)。此外，提供給AI系統(tǒng)的數(shù)據(jù)集也可能與現(xiàn)實中的真實數(shù)據(jù)存在偏差。這種偏差可能由于數(shù)據(jù)樣本的單一性和片面性所致。例如，若采用網(wǎng)上調查問卷的方式收集數(shù)據(jù)，那么數(shù)據(jù)樣本只能代表參與調查的網(wǎng)民，而無法涵蓋其他領域的群體，將此類數(shù)據(jù)應用于AI的訓練中，將會產(chǎn)生欠缺完整性和科學性的決策結果。
再者，在數(shù)據(jù)集的訓練上，AI系統(tǒng)在訓練過程中可能展現(xiàn)出數(shù)據(jù)集中的歷史和社會偏見，或是不當?shù)厥褂檬鼙Ｗo的特征（種族、性別、年齡、地區(qū)等）。更進一步而言，即使公眾并沒有直接與AI系統(tǒng)進行交互，也可能在無意識中受到AI技術和自動化決策系統(tǒng)的影響。例如，人們在申請貸款、入學、住房資格時，相關的歷史數(shù)據(jù)、訓練數(shù)據(jù)或者測量數(shù)據(jù)將被用于算法模型的分析和預測中，從而產(chǎn)生具有潛在歧視性的決策結果。
最后，NIST認為，未經(jīng)驗證的算法模型也是引發(fā)AI偏見的重要來源。尤其是對于那些未經(jīng)測試和把關即投放部署的AI系統(tǒng)來說，其容易出現(xiàn)系統(tǒng)決策的歧視和錯誤等問題。NIST通過兩個例子來說明此觀點：
一是在實踐中，在新冠肺炎病毒流行期間，部分機構匆忙部署新開發(fā)的AI系統(tǒng)以預測疫情走向以及診斷患者癥狀，結果發(fā)現(xiàn)這類機器大多存在技術方法上的缺陷和偏見；
二是在理論上，目前已有許多文獻對AI技術的常見問題進行描述，如概念存疑(questionable concepts)、實踐具有欺騙性或未經(jīng)驗證(deceptive or unproven practices)、缺乏理論基礎(lacking theoretical underpinnings)等。這些文獻提出，對于在招聘、風險評估、犯罪量刑系統(tǒng)等領域進行決策和預測的AI系統(tǒng)，其部署前應當在特定的應用場景中驗證自身的有效性(validity)和可靠性(reliability)。這是由于，這些領域的算法決策對人們生活造成的影響重大，因而有必要對其采取合理的驗證和保護措施，盡可能減少AI系統(tǒng)在這些領域中的歧視性風險。
總的來說，NIST認為，數(shù)據(jù)集的內在偏見、存在偏見風險的自動化系統(tǒng)以及使用未經(jīng)檢驗的AI技術等，都是引發(fā)算法歧視以及導致公眾“信任崩塌”的主要原因。為此，NIST提出，可針對AI系統(tǒng)在不同場景下的運作建立統(tǒng)一的AI歧視性風險管理機制，而非針對每個具體使用場景尋找特定解決方案，這將更加富有成效。
歧視性風險管理
需貫穿AI生命周期
建立貫穿人工智能系統(tǒng)生命周期的風險管理系統(tǒng)，有利于確保開發(fā)、部署人員對系統(tǒng)進行全過程的追溯和審查。目前，國際上還未對人工智能系統(tǒng)生命周期的技術標準達成一致，仍缺乏通行的共識理念和行業(yè)規(guī)范，國際標準化組織(ISO)和國際電工委員會(IEC)也已將人工智能生命周期標準的制定提上了日程。
在此趨勢下，NIST結合了CoE[4]、OECD等現(xiàn)有文件的相關內容，提出了關于人工智能系統(tǒng)風險管理的三個關鍵階段，即預設計階段、設計開發(fā)階段、部署階段，并強調要發(fā)揮多利益相關方在三個階段中的參與作用，充分汲取和兼顧不同的反饋意見和研發(fā)理念，提升人工智能系統(tǒng)決策的包容性和多元性。
AI預設計階段的潛在風險和解決思路
1/預設計階段的歧視性風險
NIST認為，AI在預設計階段可能面臨問題表述不清(Poor problem framing)、數(shù)據(jù)驅動路徑導致的虛假關聯(lián)(spurious correlations from data-driven approaches)、無法建立合理的因果關系機制(failing to establish appropriate underlying causal mechanisms）、整體性的技術缺陷等問題。倘若存在這類問題的AI系統(tǒng)沒有經(jīng)過檢驗就投放生產(chǎn)和使用，則容易使產(chǎn)品的問題在部署階段被發(fā)現(xiàn)，因而該過程也被稱為“fire,ready,aim”（在行動中檢驗和評估質量）。
NIST認為解決這類問題的最佳方案并不是排除缺陷，而是拒絕部署和使用基于此類AI系統(tǒng)的產(chǎn)品以及設計方案。原因在于，AI系統(tǒng)在設計上的缺陷會直接導致AI偏見的形成，進而加劇公眾對此類AI技術的不信任。尤其是對于高風險(high-stakes)的AI而言，其在部署前應經(jīng)過進行大量的測試和驗證程序，以確保技術在應用表現(xiàn)上的有效性和可靠性。
2/解決思路
NIST認為，在預設計階段減少偏見的有效舉措包括以下幾個方面。首先，要以解決問題為導向，樹立正確的系統(tǒng)研發(fā)理念，確保研發(fā)者以合乎倫理和道德的方式設計算法。在風險的來源上，若AI的預設計未能充分識別數(shù)據(jù)集的風險，則可能導致系統(tǒng)在設計和研發(fā)階段使用具有歧視性的數(shù)據(jù)，從而在將來部署時造成對特定用戶群體的歧視。因此，有專家建議，在預設計階段，研發(fā)者在收集和處理數(shù)據(jù)時不僅應遵循數(shù)據(jù)最小化原則，還應制定更高的道德標準，通過最小數(shù)量的數(shù)據(jù)集來確保AI系統(tǒng)的模型、方法或技術所使用的數(shù)據(jù)集是真實的而非虛擬的，從而在預設計階段從源頭上防范AI歧視。
其次，設計者應關注AI在實際運行環(huán)境中的未知影響。在AI的開發(fā)過程中，研發(fā)者的認知通常受到技術解決主義(technological solutionism)的影響，認為技術只會帶來積極向善的解決方案。這種認知容易導致研發(fā)者陷入單線程的設計思路，即僅僅關注如何對技術或工具的性能進行優(yōu)化，而忽略了技術在具體應用場景中的實際運作表現(xiàn)，進而出現(xiàn)AI技術與使用場景不兼容的問題，也使得人們理解AI工具決策輸出的難度大大增加。[5]
NIST認為，對于存在已知或者潛在歧視的應用領域，為其開發(fā)算法決策工具是極具風險的。這是因為在AI的研發(fā)和部署過程中，AI通常難以及時地識別和排除自身對用戶輸出的歧視性或者負面結果。然而，在AI的預設計階段，研發(fā)者很少能未雨綢繆地預見AI在實際操作環(huán)境中的潛在偏見和負面影響。因此，研發(fā)者在預設計階段既要關注AI工具的性能，也要考慮AI在實際應用中的表現(xiàn)效果，有效識別和減少算法偏見等負面影響。
再者，應避免對AI產(chǎn)品的夸大宣傳和過度營銷。NIST認為，研發(fā)者在預設計階段的某些決策也可能對AI系統(tǒng)產(chǎn)生具有傷害性的負面影響，甚至可能被不法分子用來達成一些極端危險的社會目的。如果研發(fā)者始終保持對AI系統(tǒng)的盲目樂觀和自信，為了營銷而過度夸大系統(tǒng)的優(yōu)勢，而非理性、客觀地看待其中的安全隱患，將難以對AI系統(tǒng)中的潛在風險和傷害形成有效克制。NIST建議，在一些極端情形下（例如AI工具或應用通過欺詐、偽造的方式欺騙用戶），宜采取的做法不是排除此類風險，而是拒絕部署和使用此類產(chǎn)品，從而避免因對用戶造成傷害而損害生廠商的聲譽。
總的來說，NIST認為，盡管AI的預設計階段非常關鍵，但如果研發(fā)者在此階段發(fā)現(xiàn)AI系統(tǒng)存在難以解決的技術缺陷，應當確保其經(jīng)過科學的測試和驗證，然后才能投入部署，而非采用先部署后評估的方式，從而避免AI產(chǎn)品在運行期間出現(xiàn)潛在的偏見風險。而對于具有高風險的AI技術，研發(fā)者應該保持謹慎、克制的態(tài)度。
AI設計和開發(fā)階段的潛在風險和解決思路
1/設計開發(fā)階段的歧視性風險
設計開發(fā)階段主要涵蓋AI系統(tǒng)的建模、驗證、開發(fā)等關鍵過程，其中的參與人員包括軟件設計者、工程師以及負責AI風險管理（算法審計、參數(shù)評估和驗證）的數(shù)據(jù)科學家等。在這個階段，軟件設計者和數(shù)據(jù)科學家通常會將精力集中于系統(tǒng)的表現(xiàn)和優(yōu)化(optimization)上。然而，這種對系統(tǒng)優(yōu)化的過度關注也會無意間形成AI系統(tǒng)的偏見。
首先，在AI模型的設計和選擇上，研發(fā)者會傾向于追求模型的準確性。但已有的研究表明，僅以準確性作為模型的選擇標準并不是減少偏見的最佳路徑。[6]如果不將具體的應用場景納入模型選擇的標準范疇，可能會給特定群體輸出有偏見的決策（如醫(yī)療資源的不平等分配）。
其次，如果AI系統(tǒng)使用不具有代表性的群體數(shù)據(jù)來預測個人行為，也可能產(chǎn)生偏見結果。這類偏見又被稱為“生態(tài)謬誤”(ecological fallacy)，其在算法中表現(xiàn)為根據(jù)某類社會群體的成員特征對個人進行推理和決策（如根據(jù)人種來決定入學資格）。然而，這種機制可能在無意中加重某些因素的權重，使得算法決策進一步加劇社會的不平等。考慮到這類潛在的歧視風險，研發(fā)者應盡最大責任來設計和開發(fā)出防范歧視的方法。
2/解決思路
目前，一些科技公司正在逐步建立內部的操作指南，致力于識別和消除AI決策的潛在歧視，以提高組織內使用AI的可靠性。為了讓AI組織更加積極和自覺地識別算法模型的潛在偏見，NIST在《提案》中提到了一種激勵機制，即“文化有效挑戰(zhàn)”(cultural effective challenge)，其旨在為技術人員提供一個充分的評估環(huán)境，使之能夠針對AI的建模和開發(fā)階段提出問題或進行挑戰(zhàn)，幫助研發(fā)者從根源上識別出統(tǒng)計性偏差(statistical biases)以及人為決策中的內在偏見。
這種方式的優(yōu)勢在于，讓技術人員以類似辯論或者質詢的方式開展“頭腦風暴”，深入到具體的技術環(huán)節(jié)中對自己研發(fā)的AI技術進行辯護或反思，以此激勵研發(fā)思路的拓新和轉變，更有利于技術人員發(fā)現(xiàn)AI系統(tǒng)的潛在風險并找到相應的防范路徑。
此外，為了更好地識別和減少組織在應用AI過程中可能導致算法歧視的因素，NIST建議針對特定的應用場景開發(fā)相對應的算法模型工具，算法決策目的與特定用例之間的一一對應，避免在用例的范圍之外設計和研發(fā)算法決策工具。最后，NIST引用了相關研究的觀點，認為AI的研發(fā)團隊應和領域專家、產(chǎn)品終端用戶等人員緊密合作，在研發(fā)過程中充分考慮多方主體的意見和利益，使得算法工具的決策結果體現(xiàn)出文化的多樣性和包容性。
AI部署階段的潛在風險和解決思路
部署階段(deployment state)是指用戶與已開發(fā)的AI系統(tǒng)進行交互的過程。NIST指出，這個階段的利益相關者(stakeholder)主要是基于職業(yè)需求而使用AI應用的各類用戶，包括領域專家、操作者、控制者以及為AI的輸出提供解釋和支持的決策者等。
1/部署階段的歧視性風險
NIST指出，AI部署階段的問題表現(xiàn)為，許多AI工具在進入部署前通常省略了專家審核這一步驟，而直接投放市場進行部署和應用，以向終端用戶提供AI技術服務。但如上文所述，這同時也會導致AI工具在實際運作背離其設計初衷而輸出偏見結果。此外，即使對于沒有直接使用AI工具的公眾而言，也可能會受到AI部署的影響，具體表現(xiàn)為用戶個人權益遭致減損的風險：
一是用戶數(shù)據(jù)被濫用的風險，AI在建模時會廣泛地使用個人數(shù)據(jù)進行訓練，但有些數(shù)據(jù)在未經(jīng)用戶本人同意和承認的情況下被使用，因而存在用戶數(shù)據(jù)權益被侵犯的風險；
二是AI決策的差異化風險，即算法可能根據(jù)用戶的地理位置、職業(yè)類型而生成不同的決策結果。國外的研究顯示，在出行打車軟件中，定價算法可能對低收入和非白人區(qū)的乘客收取更多的上下車費用，從而導致AI的差異化影響(disparate impact)。
令人擔憂的是，隨著AI技術和工具廣泛應用到人類社會，類似具有廣泛性、系統(tǒng)性的歧視風險可能將永久存在于AI算法的決策路徑中，這意味著無論人們是否直接使用AI，無論是否同意接受AI的決策，都將或多或少地受到AI歧視結果的影響。因此，AI在部署階段的歧視性風險尤其值得注意和防范。
在諸多的歧視風險來源中，NIST認為應當格外重視AI在部署階段可能出現(xiàn)的環(huán)境偏差，特別是AI的預期環(huán)境和實際環(huán)境之間的偏離。對于那些在設計和部署上欠缺決策精準性，或者決策路徑過于狹隘的AI工具，其存在的偏離風險可能會隨著用戶與AI之間的交互而日益暴露出來。例如，如果研發(fā)者沒有為AI的行為偏差(activity biases)設置補償機制，算法模型在部署中更容易根據(jù)活躍用戶的數(shù)據(jù)進行訓練，而忽略潛在的非活躍用戶的使用特征。當算法模型“投喂”的數(shù)據(jù)都來自活躍用戶時，意味著AI將優(yōu)先考慮該類用戶的喜好和習慣，而忽略了其他用戶的利益，進而形成數(shù)據(jù)集的遺漏性偏差(omission bias)。舉例而言，國外STEM（科學、技術、工程和數(shù)學）領域的廣告更容易被男性觀眾歡迎，因此算法會基于市場投放效益的考慮，使得作為潛在受眾的女性幾乎很少看到此類廣告，這就是AI歧視的最佳例證。[7]
NIST認為，AI之所以會出現(xiàn)環(huán)境偏差，其原因之一在于，AI從預設計到設計研發(fā)、部署等階段都具有不同的目標和任務，研發(fā)者的關注點也會隨著AI生命周期的三個階段而有所轉變。具體來說，預設計階段的關注點是如何利用技術來解決實際問題，推廣產(chǎn)品以及在新領域中取得創(chuàng)新；研發(fā)階段的關注點是如何打造、測試以及實施技術。
除了關注點的轉變，不同參與者在使用AI上的認知水平也會影響其對算法決策的理解和信任。NIST指出，隨著技術進入部署階段，這種認知偏差可能使得AI出現(xiàn)非預期的表現(xiàn)，甚至將引起人們的質疑和不信任。例如，對于預測和分析大學入學資格的AI而言，AI決策終端的操作者往往同時又是指出算法存在種族歧視的“吹哨者”。一些入學面試官表明，他們并不了解這些由AI預測的入學資格分數(shù)是如何計算和生成的，部分面試官甚至認為AI的評分并不能完全真實地反映出學生的個性化特征，因此他們不會輕易相信這些預測分數(shù)的準確性。[8]
為此，NIST進一步分析了上述問題出現(xiàn)的原因，認為這是由行業(yè)專家和AI開發(fā)者之間缺乏共同語言所致，如入學資格的評審專家無法理解AI研發(fā)者的設計邏輯，AI研發(fā)者沒有意識到技術在實際運行過程中可能會被改變用途，且每個用戶對于AI模型的輸出結果都可能存在解釋和理解上的差異，這將使得AI技術在“建”和“用”之間形成溝通上的屏障。
2/解決思路
如上所述，NIST在《提案》中對在AI系統(tǒng)生命周期的三個階段中可能出現(xiàn)的環(huán)境偏差進行了深入的分析，指出AI在生命周期中存在不同程度上的性能差異，也會使得AI的終端用戶和開發(fā)者分別產(chǎn)生對AI決策的不同理解。整體來看，AI的部署階段存在環(huán)境偏差、AI參與者的理解偏差、用戶對自動化技術的過度信任(automation complacency)等容易引發(fā)算法偏見的因素，如果缺乏足夠的關注和重視，AI決策的歧視性風險將會日益凸顯和加劇，可能給用戶或者社會造成嚴重的負面影響。
為此，NIST針對AI部署階段的各類提出了相關的緩解措施。在機制上，最關鍵的是要對上述部署過程中可能出現(xiàn)的環(huán)境偏差進行監(jiān)測和審計，確保AI生命周期潛在風險的可視化和可追溯。在技術上，研發(fā)者可采用反事實解釋技術(counterfactual fairness)來消除AI在實驗環(huán)境和現(xiàn)實部署環(huán)境之間的偏差。在結果上，應盡可能識別出AI在部署期間蘊含的社會歧視，確保AI在決策的準確性和公平性之間應做出合理的權衡與取舍?？梢灶A見的是，為上述問題制定完善的AI歧視性風險管理標準將是未來AI產(chǎn)業(yè)重點關注和攻關的方向。
結論
總而言之，NIST認為，導致AI決策出現(xiàn)歧視的原因具有復雜性和多樣性，涵蓋了AI生命周期的三個階段，包括數(shù)據(jù)集的隱性偏見、算法模型欠缺檢驗、AI運行環(huán)境偏差、AI參與者的理解偏差等等。
NIST認為，AI歧視性風險管理的最終目標不是實現(xiàn)零風險（實際上也無法做到），而是在AI生命周期中有效識別、理解、衡量、管理和減少AI的潛在偏見。為此，NIST提出，管理AI系統(tǒng)的歧視性風險應從以下維度出發(fā)，一是制定與AI偏見的術語、測量以及評估相關的技術標準和指南；二是基于特定應用場景（context-specific）的方式管理和識別AI偏見，即對于AI在不同建模階段中可能出現(xiàn)的歧視風險，需要在特定的運行環(huán)境下對其進行識別和防范；三是在設計、開發(fā)和部署AI過程中，應當兼顧研發(fā)者、部署人員以及終端用戶等利益相關者的意見，在開發(fā)算法模型和構建訓練數(shù)據(jù)集時充分考慮各方利益，以提高AI決策的包容性和多元性，推動可負責、可信任AI的實現(xiàn)和落地。
