如何在 AI 全生命周期中防范算法歧視風險?

騰訊研究院
曹建峰/胡錦浩
當前,算法歧視已是AI領域老生常談的問題,從近年來頗受關注的AI歧視事件來看,這些偏見常見于招聘、司法、貸款、入學、移民等算法評估工具。

2345截圖20211028093243.png

當前,算法歧視已是AI領域老生常談的問題,從近年來頗受關注的AI歧視事件來看,這些偏見常見于招聘、司法、貸款、入學、移民等算法評估工具。

例如,繼2018年亞馬遜的AI招聘工具被發(fā)現(xiàn)歧視女性勞動者后,2021年9月,根據(jù)哈佛商學院和埃森哲公司的最新報告,在美國,隨著每年求職者人數(shù)的增加,多達75%的雇主公司開始傾向于使用AI技術(如具有OCR功能的簡歷掃描軟件),來幫助其處理繁雜的簡歷和挑選候選人。約有2700萬“隱形人”(hidden workers)正面臨被AI簡歷工具的自動化決策進行過濾的窘境。

報告顯示,這些AI簡歷工具大多只看重簡歷的形式內容(如證件資格)而非應聘者所能帶來的實際價值,因此將許多潛在的合適人選拒之門外。其中,諸如殘疾人員、刑滿釋放人員、與配偶分隔異地的人員等具有特殊經(jīng)歷的人還會受到AI工具不同程度的排斥。[1]AI偏見可能無處不在,也亟待得到有效的治理和控制。

為此,各界都在致力于探索消除AI偏見的技術和途徑,部分組織已取得了一些有益成果。2021年6月22日,美國國家標準技術研究所(NIST)發(fā)布《關于識別和管理人工智能歧視的標準提案》(A Proposal for Identifying and Managing Bias in Artificial Intelligence),并向社會公眾征求意見。[2]

隨后,7月29日,NIST提出制定《人工智能風險管理框架》(Artificial Intelligence Risk Management Framework)并征詢各界意見,該AI風險管理框架旨在幫助AI的設計者、開發(fā)者、使用者以及評估者更好地管理AI生命周期中可能出現(xiàn)的風險。[3]NIST希望在此基礎上推動建立涵蓋AI系統(tǒng)整個生命周期的共通性標準和風險管理框架,促進可信、可負責AI理念和技術的實現(xiàn)。

那么,AI在其生命周期中可能存在哪些偏見?產(chǎn)生偏見的原因是什么?我們又應如何識別和減少AI偏見?本文將結合《提案》的內容回答這些問題。

AI系統(tǒng)歧視性風險的主要來源

《提案》認為,隨著以數(shù)據(jù)驅動(data-driven)和機器學習為核心的技術路徑越來越多地被用于AI的算法決策,AI所蘊藏的歧視性風險也逐漸暴露在真實世界中,引發(fā)了人們對于AI歧視的廣泛關注。目前,AI系統(tǒng)存在一些常見的歧視性風險,這些風險大多是由數(shù)據(jù)集和模型的不合理使用而造成的。

首先,在數(shù)據(jù)集的選擇上,AI通常難以對數(shù)據(jù)的偏見進行標識描繪和管理,原因在于其只能通過可量化、可觀察的數(shù)據(jù)來構建模型和概念。例如,在刑事司法領域,AI可用于被告人的量刑分析和預測(如Compas系統(tǒng)),對于被告人的有罪性(criminality)和人身危險性,AI通常主要根據(jù)其累犯記錄、年齡以及地區(qū)等可測量的數(shù)據(jù)進行評估。但實際上,任何代碼和參數(shù)都無法對人類復雜的語義和思維實現(xiàn)完整的概括和表達,也難以通過自然語言處理對人們的思想、情感、語言等感性內容實現(xiàn)完全轉換。因此,在從人類語義到計算機語言的編譯過程中,普遍存在信息失真和錯誤等問題。如果輸入的數(shù)據(jù)不準確或是帶有偏見,也會導致AI在數(shù)據(jù)集的訓練和決策中產(chǎn)生不公平的輸出結果。

其次,在數(shù)據(jù)集的獲取上,目前大部分AI系統(tǒng)在獲取數(shù)據(jù)集時會優(yōu)先考慮數(shù)據(jù)是否易于收集,是否存在可獲得的數(shù)據(jù)來源,而非優(yōu)先判斷該類數(shù)據(jù)集是否合適,能否滿足AI應用的功能和目的。因此,AI的研發(fā)者和實踐者只能隨“數(shù)據(jù)”應變(go where the data is),以數(shù)據(jù)集內容來決定系統(tǒng)的開發(fā)方向,而不是根據(jù)系統(tǒng)的實際需求來收集數(shù)據(jù)。此外,提供給AI系統(tǒng)的數(shù)據(jù)集也可能與現(xiàn)實中的真實數(shù)據(jù)存在偏差。這種偏差可能由于數(shù)據(jù)樣本的單一性和片面性所致。例如,若采用網(wǎng)上調查問卷的方式收集數(shù)據(jù),那么數(shù)據(jù)樣本只能代表參與調查的網(wǎng)民,而無法涵蓋其他領域的群體,將此類數(shù)據(jù)應用于AI的訓練中,將會產(chǎn)生欠缺完整性和科學性的決策結果。

再者,在數(shù)據(jù)集的訓練上,AI系統(tǒng)在訓練過程中可能展現(xiàn)出數(shù)據(jù)集中的歷史和社會偏見,或是不當?shù)厥褂檬鼙Wo的特征(種族、性別、年齡、地區(qū)等)。更進一步而言,即使公眾并沒有直接與AI系統(tǒng)進行交互,也可能在無意識中受到AI技術和自動化決策系統(tǒng)的影響。例如,人們在申請貸款、入學、住房資格時,相關的歷史數(shù)據(jù)、訓練數(shù)據(jù)或者測量數(shù)據(jù)將被用于算法模型的分析和預測中,從而產(chǎn)生具有潛在歧視性的決策結果。

最后,NIST認為,未經(jīng)驗證的算法模型也是引發(fā)AI偏見的重要來源。尤其是對于那些未經(jīng)測試和把關即投放部署的AI系統(tǒng)來說,其容易出現(xiàn)系統(tǒng)決策的歧視和錯誤等問題。NIST通過兩個例子來說明此觀點:

一是在實踐中,在新冠肺炎病毒流行期間,部分機構匆忙部署新開發(fā)的AI系統(tǒng)以預測疫情走向以及診斷患者癥狀,結果發(fā)現(xiàn)這類機器大多存在技術方法上的缺陷和偏見;

二是在理論上,目前已有許多文獻對AI技術的常見問題進行描述,如概念存疑(questionable concepts)、實踐具有欺騙性或未經(jīng)驗證(deceptive or unproven practices)、缺乏理論基礎(lacking theoretical underpinnings)等。這些文獻提出,對于在招聘、風險評估、犯罪量刑系統(tǒng)等領域進行決策和預測的AI系統(tǒng),其部署前應當在特定的應用場景中驗證自身的有效性(validity)和可靠性(reliability)。這是由于,這些領域的算法決策對人們生活造成的影響重大,因而有必要對其采取合理的驗證和保護措施,盡可能減少AI系統(tǒng)在這些領域中的歧視性風險。

總的來說,NIST認為,數(shù)據(jù)集的內在偏見、存在偏見風險的自動化系統(tǒng)以及使用未經(jīng)檢驗的AI技術等,都是引發(fā)算法歧視以及導致公眾“信任崩塌”的主要原因。為此,NIST提出,可針對AI系統(tǒng)在不同場景下的運作建立統(tǒng)一的AI歧視性風險管理機制,而非針對每個具體使用場景尋找特定解決方案,這將更加富有成效。

歧視性風險管理

需貫穿AI生命周期

建立貫穿人工智能系統(tǒng)生命周期的風險管理系統(tǒng),有利于確保開發(fā)、部署人員對系統(tǒng)進行全過程的追溯和審查。目前,國際上還未對人工智能系統(tǒng)生命周期的技術標準達成一致,仍缺乏通行的共識理念和行業(yè)規(guī)范,國際標準化組織(ISO)和國際電工委員會(IEC)也已將人工智能生命周期標準的制定提上了日程。

在此趨勢下,NIST結合了CoE[4]、OECD等現(xiàn)有文件的相關內容,提出了關于人工智能系統(tǒng)風險管理的三個關鍵階段,即預設計階段、設計開發(fā)階段、部署階段,并強調要發(fā)揮多利益相關方在三個階段中的參與作用,充分汲取和兼顧不同的反饋意見和研發(fā)理念,提升人工智能系統(tǒng)決策的包容性和多元性。

2345截圖20211028093243.png

AI預設計階段的潛在風險和解決思路

1/預設計階段的歧視性風險

NIST認為,AI在預設計階段可能面臨問題表述不清(Poor problem framing)、數(shù)據(jù)驅動路徑導致的虛假關聯(lián)(spurious correlations from data-driven approaches)、無法建立合理的因果關系機制(failing to establish appropriate underlying causal mechanisms)、整體性的技術缺陷等問題。倘若存在這類問題的AI系統(tǒng)沒有經(jīng)過檢驗就投放生產(chǎn)和使用,則容易使產(chǎn)品的問題在部署階段被發(fā)現(xiàn),因而該過程也被稱為“fire,ready,aim”(在行動中檢驗和評估質量)。

NIST認為解決這類問題的最佳方案并不是排除缺陷,而是拒絕部署和使用基于此類AI系統(tǒng)的產(chǎn)品以及設計方案。原因在于,AI系統(tǒng)在設計上的缺陷會直接導致AI偏見的形成,進而加劇公眾對此類AI技術的不信任。尤其是對于高風險(high-stakes)的AI而言,其在部署前應經(jīng)過進行大量的測試和驗證程序,以確保技術在應用表現(xiàn)上的有效性和可靠性。

2/解決思路

NIST認為,在預設計階段減少偏見的有效舉措包括以下幾個方面。首先,要以解決問題為導向,樹立正確的系統(tǒng)研發(fā)理念,確保研發(fā)者以合乎倫理和道德的方式設計算法。在風險的來源上,若AI的預設計未能充分識別數(shù)據(jù)集的風險,則可能導致系統(tǒng)在設計和研發(fā)階段使用具有歧視性的數(shù)據(jù),從而在將來部署時造成對特定用戶群體的歧視。因此,有專家建議,在預設計階段,研發(fā)者在收集和處理數(shù)據(jù)時不僅應遵循數(shù)據(jù)最小化原則,還應制定更高的道德標準,通過最小數(shù)量的數(shù)據(jù)集來確保AI系統(tǒng)的模型、方法或技術所使用的數(shù)據(jù)集是真實的而非虛擬的,從而在預設計階段從源頭上防范AI歧視。

其次,設計者應關注AI在實際運行環(huán)境中的未知影響。在AI的開發(fā)過程中,研發(fā)者的認知通常受到技術解決主義(technological solutionism)的影響,認為技術只會帶來積極向善的解決方案。這種認知容易導致研發(fā)者陷入單線程的設計思路,即僅僅關注如何對技術或工具的性能進行優(yōu)化,而忽略了技術在具體應用場景中的實際運作表現(xiàn),進而出現(xiàn)AI技術與使用場景不兼容的問題,也使得人們理解AI工具決策輸出的難度大大增加。[5]

NIST認為,對于存在已知或者潛在歧視的應用領域,為其開發(fā)算法決策工具是極具風險的。這是因為在AI的研發(fā)和部署過程中,AI通常難以及時地識別和排除自身對用戶輸出的歧視性或者負面結果。然而,在AI的預設計階段,研發(fā)者很少能未雨綢繆地預見AI在實際操作環(huán)境中的潛在偏見和負面影響。因此,研發(fā)者在預設計階段既要關注AI工具的性能,也要考慮AI在實際應用中的表現(xiàn)效果,有效識別和減少算法偏見等負面影響。

再者,應避免對AI產(chǎn)品的夸大宣傳和過度營銷。NIST認為,研發(fā)者在預設計階段的某些決策也可能對AI系統(tǒng)產(chǎn)生具有傷害性的負面影響,甚至可能被不法分子用來達成一些極端危險的社會目的。如果研發(fā)者始終保持對AI系統(tǒng)的盲目樂觀和自信,為了營銷而過度夸大系統(tǒng)的優(yōu)勢,而非理性、客觀地看待其中的安全隱患,將難以對AI系統(tǒng)中的潛在風險和傷害形成有效克制。NIST建議,在一些極端情形下(例如AI工具或應用通過欺詐、偽造的方式欺騙用戶),宜采取的做法不是排除此類風險,而是拒絕部署和使用此類產(chǎn)品,從而避免因對用戶造成傷害而損害生廠商的聲譽。

總的來說,NIST認為,盡管AI的預設計階段非常關鍵,但如果研發(fā)者在此階段發(fā)現(xiàn)AI系統(tǒng)存在難以解決的技術缺陷,應當確保其經(jīng)過科學的測試和驗證,然后才能投入部署,而非采用先部署后評估的方式,從而避免AI產(chǎn)品在運行期間出現(xiàn)潛在的偏見風險。而對于具有高風險的AI技術,研發(fā)者應該保持謹慎、克制的態(tài)度。

AI設計和開發(fā)階段的潛在風險和解決思路

1/設計開發(fā)階段的歧視性風險

設計開發(fā)階段主要涵蓋AI系統(tǒng)的建模、驗證、開發(fā)等關鍵過程,其中的參與人員包括軟件設計者、工程師以及負責AI風險管理(算法審計、參數(shù)評估和驗證)的數(shù)據(jù)科學家等。在這個階段,軟件設計者和數(shù)據(jù)科學家通常會將精力集中于系統(tǒng)的表現(xiàn)和優(yōu)化(optimization)上。然而,這種對系統(tǒng)優(yōu)化的過度關注也會無意間形成AI系統(tǒng)的偏見。

首先,在AI模型的設計和選擇上,研發(fā)者會傾向于追求模型的準確性。但已有的研究表明,僅以準確性作為模型的選擇標準并不是減少偏見的最佳路徑。[6]如果不將具體的應用場景納入模型選擇的標準范疇,可能會給特定群體輸出有偏見的決策(如醫(yī)療資源的不平等分配)。

其次,如果AI系統(tǒng)使用不具有代表性的群體數(shù)據(jù)來預測個人行為,也可能產(chǎn)生偏見結果。這類偏見又被稱為“生態(tài)謬誤”(ecological fallacy),其在算法中表現(xiàn)為根據(jù)某類社會群體的成員特征對個人進行推理和決策(如根據(jù)人種來決定入學資格)。然而,這種機制可能在無意中加重某些因素的權重,使得算法決策進一步加劇社會的不平等。考慮到這類潛在的歧視風險,研發(fā)者應盡最大責任來設計和開發(fā)出防范歧視的方法。

2/解決思路

目前,一些科技公司正在逐步建立內部的操作指南,致力于識別和消除AI決策的潛在歧視,以提高組織內使用AI的可靠性。為了讓AI組織更加積極和自覺地識別算法模型的潛在偏見,NIST在《提案》中提到了一種激勵機制,即“文化有效挑戰(zhàn)”(cultural effective challenge),其旨在為技術人員提供一個充分的評估環(huán)境,使之能夠針對AI的建模和開發(fā)階段提出問題或進行挑戰(zhàn),幫助研發(fā)者從根源上識別出統(tǒng)計性偏差(statistical biases)以及人為決策中的內在偏見。

這種方式的優(yōu)勢在于,讓技術人員以類似辯論或者質詢的方式開展“頭腦風暴”,深入到具體的技術環(huán)節(jié)中對自己研發(fā)的AI技術進行辯護或反思,以此激勵研發(fā)思路的拓新和轉變,更有利于技術人員發(fā)現(xiàn)AI系統(tǒng)的潛在風險并找到相應的防范路徑。

此外,為了更好地識別和減少組織在應用AI過程中可能導致算法歧視的因素,NIST建議針對特定的應用場景開發(fā)相對應的算法模型工具,算法決策目的與特定用例之間的一一對應,避免在用例的范圍之外設計和研發(fā)算法決策工具。最后,NIST引用了相關研究的觀點,認為AI的研發(fā)團隊應和領域專家、產(chǎn)品終端用戶等人員緊密合作,在研發(fā)過程中充分考慮多方主體的意見和利益,使得算法工具的決策結果體現(xiàn)出文化的多樣性和包容性。

AI部署階段的潛在風險和解決思路

部署階段(deployment state)是指用戶與已開發(fā)的AI系統(tǒng)進行交互的過程。NIST指出,這個階段的利益相關者(stakeholder)主要是基于職業(yè)需求而使用AI應用的各類用戶,包括領域專家、操作者、控制者以及為AI的輸出提供解釋和支持的決策者等。

1/部署階段的歧視性風險

NIST指出,AI部署階段的問題表現(xiàn)為,許多AI工具在進入部署前通常省略了專家審核這一步驟,而直接投放市場進行部署和應用,以向終端用戶提供AI技術服務。但如上文所述,這同時也會導致AI工具在實際運作背離其設計初衷而輸出偏見結果。此外,即使對于沒有直接使用AI工具的公眾而言,也可能會受到AI部署的影響,具體表現(xiàn)為用戶個人權益遭致減損的風險:

一是用戶數(shù)據(jù)被濫用的風險,AI在建模時會廣泛地使用個人數(shù)據(jù)進行訓練,但有些數(shù)據(jù)在未經(jīng)用戶本人同意和承認的情況下被使用,因而存在用戶數(shù)據(jù)權益被侵犯的風險;

二是AI決策的差異化風險,即算法可能根據(jù)用戶的地理位置、職業(yè)類型而生成不同的決策結果。國外的研究顯示,在出行打車軟件中,定價算法可能對低收入和非白人區(qū)的乘客收取更多的上下車費用,從而導致AI的差異化影響(disparate impact)。

令人擔憂的是,隨著AI技術和工具廣泛應用到人類社會,類似具有廣泛性、系統(tǒng)性的歧視風險可能將永久存在于AI算法的決策路徑中,這意味著無論人們是否直接使用AI,無論是否同意接受AI的決策,都將或多或少地受到AI歧視結果的影響。因此,AI在部署階段的歧視性風險尤其值得注意和防范。

在諸多的歧視風險來源中,NIST認為應當格外重視AI在部署階段可能出現(xiàn)的環(huán)境偏差,特別是AI的預期環(huán)境和實際環(huán)境之間的偏離。對于那些在設計和部署上欠缺決策精準性,或者決策路徑過于狹隘的AI工具,其存在的偏離風險可能會隨著用戶與AI之間的交互而日益暴露出來。例如,如果研發(fā)者沒有為AI的行為偏差(activity biases)設置補償機制,算法模型在部署中更容易根據(jù)活躍用戶的數(shù)據(jù)進行訓練,而忽略潛在的非活躍用戶的使用特征。當算法模型“投喂”的數(shù)據(jù)都來自活躍用戶時,意味著AI將優(yōu)先考慮該類用戶的喜好和習慣,而忽略了其他用戶的利益,進而形成數(shù)據(jù)集的遺漏性偏差(omission bias)。舉例而言,國外STEM(科學、技術、工程和數(shù)學)領域的廣告更容易被男性觀眾歡迎,因此算法會基于市場投放效益的考慮,使得作為潛在受眾的女性幾乎很少看到此類廣告,這就是AI歧視的最佳例證。[7]

NIST認為,AI之所以會出現(xiàn)環(huán)境偏差,其原因之一在于,AI從預設計到設計研發(fā)、部署等階段都具有不同的目標和任務,研發(fā)者的關注點也會隨著AI生命周期的三個階段而有所轉變。具體來說,預設計階段的關注點是如何利用技術來解決實際問題,推廣產(chǎn)品以及在新領域中取得創(chuàng)新;研發(fā)階段的關注點是如何打造、測試以及實施技術。

除了關注點的轉變,不同參與者在使用AI上的認知水平也會影響其對算法決策的理解和信任。NIST指出,隨著技術進入部署階段,這種認知偏差可能使得AI出現(xiàn)非預期的表現(xiàn),甚至將引起人們的質疑和不信任。例如,對于預測和分析大學入學資格的AI而言,AI決策終端的操作者往往同時又是指出算法存在種族歧視的“吹哨者”。一些入學面試官表明,他們并不了解這些由AI預測的入學資格分數(shù)是如何計算和生成的,部分面試官甚至認為AI的評分并不能完全真實地反映出學生的個性化特征,因此他們不會輕易相信這些預測分數(shù)的準確性。[8]

為此,NIST進一步分析了上述問題出現(xiàn)的原因,認為這是由行業(yè)專家和AI開發(fā)者之間缺乏共同語言所致,如入學資格的評審專家無法理解AI研發(fā)者的設計邏輯,AI研發(fā)者沒有意識到技術在實際運行過程中可能會被改變用途,且每個用戶對于AI模型的輸出結果都可能存在解釋和理解上的差異,這將使得AI技術在“建”和“用”之間形成溝通上的屏障。

2/解決思路

如上所述,NIST在《提案》中對在AI系統(tǒng)生命周期的三個階段中可能出現(xiàn)的環(huán)境偏差進行了深入的分析,指出AI在生命周期中存在不同程度上的性能差異,也會使得AI的終端用戶和開發(fā)者分別產(chǎn)生對AI決策的不同理解。整體來看,AI的部署階段存在環(huán)境偏差、AI參與者的理解偏差、用戶對自動化技術的過度信任(automation complacency)等容易引發(fā)算法偏見的因素,如果缺乏足夠的關注和重視,AI決策的歧視性風險將會日益凸顯和加劇,可能給用戶或者社會造成嚴重的負面影響。

為此,NIST針對AI部署階段的各類提出了相關的緩解措施。在機制上,最關鍵的是要對上述部署過程中可能出現(xiàn)的環(huán)境偏差進行監(jiān)測和審計,確保AI生命周期潛在風險的可視化和可追溯。在技術上,研發(fā)者可采用反事實解釋技術(counterfactual fairness)來消除AI在實驗環(huán)境和現(xiàn)實部署環(huán)境之間的偏差。在結果上,應盡可能識別出AI在部署期間蘊含的社會歧視,確保AI在決策的準確性和公平性之間應做出合理的權衡與取舍??梢灶A見的是,為上述問題制定完善的AI歧視性風險管理標準將是未來AI產(chǎn)業(yè)重點關注和攻關的方向。

結論

總而言之,NIST認為,導致AI決策出現(xiàn)歧視的原因具有復雜性和多樣性,涵蓋了AI生命周期的三個階段,包括數(shù)據(jù)集的隱性偏見、算法模型欠缺檢驗、AI運行環(huán)境偏差、AI參與者的理解偏差等等。

NIST認為,AI歧視性風險管理的最終目標不是實現(xiàn)零風險(實際上也無法做到),而是在AI生命周期中有效識別、理解、衡量、管理和減少AI的潛在偏見。為此,NIST提出,管理AI系統(tǒng)的歧視性風險應從以下維度出發(fā),一是制定與AI偏見的術語、測量以及評估相關的技術標準和指南;二是基于特定應用場景(context-specific)的方式管理和識別AI偏見,即對于AI在不同建模階段中可能出現(xiàn)的歧視風險,需要在特定的運行環(huán)境下對其進行識別和防范;三是在設計、開發(fā)和部署AI過程中,應當兼顧研發(fā)者、部署人員以及終端用戶等利益相關者的意見,在開發(fā)算法模型和構建訓練數(shù)據(jù)集時充分考慮各方利益,以提高AI決策的包容性和多元性,推動可負責、可信任AI的實現(xiàn)和落地。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論