自動化決策工具在組織的應(yīng)用中正變得越來越普遍。然而，其背后的一些機器學(xué)習(xí)(ML)模型(從面部識別系統(tǒng)到在線廣告)都清楚地表明在種族和性別方面存在偏見。隨著機器學(xué)習(xí)模型的廣泛采用，需要專業(yè)知識來確保人工智能更加公平。
機器學(xué)習(xí)模型應(yīng)該消除偏見，而不是加劇歧視。為了構(gòu)建公平的人工智能模型，必須首先使用更好的方法來識別產(chǎn)生人工智能偏見的原因，因此必須了解人工智能模型如何學(xué)習(xí)其輸入和輸出之間的偏差關(guān)系。
研究人員已經(jīng)確定了人工智能中具有的三種偏見：算法偏見、負面影響、低估。當(dāng)受保護的特性和用于決策的信息之間存在統(tǒng)計的依賴性時，就會出現(xiàn)算法偏見。負面影響是指用于訓(xùn)練人工智能模型的數(shù)據(jù)中已經(jīng)存在的偏差。當(dāng)沒有足夠的數(shù)據(jù)使人工智能模型對人口的某些部分做出可靠的結(jié)論時，就會出現(xiàn)低估。
以下深入研究每一個問題：
1.算法偏見
算法上的偏見源于受保護的特性與其他因素之間的相關(guān)性。當(dāng)發(fā)生這種情況時，不能僅通過從分析中刪除受保護的特性來減少偏差，因為其相關(guān)性可能導(dǎo)致基于非保護因素的有偏見的決策。
例如，美國早期的預(yù)測性警務(wù)算法在進行預(yù)測時并不能直接獲取種族的數(shù)據(jù)，這些模型嚴重依賴于與種族相關(guān)的地理數(shù)據(jù)(如郵政編碼)。這樣，對性別和種族等人口統(tǒng)計數(shù)據(jù)“盲目”的模型仍然可以通過與受保護屬性統(tǒng)計相關(guān)的其他特征對這些信息進行判斷。
美國消費者金融保護局致力于確保貸款機構(gòu)遵守其公平貸款法規(guī)，該局發(fā)現(xiàn)了一些統(tǒng)計方法將地理和姓氏信息結(jié)合起來，對于種族和族裔代理的判斷提供了更高的準確率。這個發(fā)現(xiàn)駁斥了一種普遍存在的誤解，即如果算法不能訪問受保護的數(shù)據(jù)，將自動減少偏差。這種被稱為代理歧視的現(xiàn)象，一旦查明了根本原因，就可以緩解這種稱為代理歧視的現(xiàn)象。也就是說，可以通過在創(chuàng)建代理功能的模型中定位中間計算，并將其替換為與受保護屬性相關(guān)性較小的值來糾正違規(guī)行為。
與人們的直覺相反，在某些情況下，從模型訓(xùn)練中刪除受保護特性的解決方案實際上會傷害到已經(jīng)處于不利地位的群體。例如，在美國司法系統(tǒng)中，美國懲教機構(gòu)和假釋委員會使用風(fēng)險因素清單對監(jiān)禁和釋放做出公正的決定。當(dāng)人類和人工智能模型處理具有諸如性別、年齡、當(dāng)前指控以及先前成人和青少年犯罪數(shù)量等基本信息時，人類和人工智能模型的表現(xiàn)是相當(dāng)?shù)摹?/p>
然而，通過給人類和人工智能模型10個額外的與教育和物質(zhì)使用相關(guān)的風(fēng)險因素，研究人員發(fā)現(xiàn)機器學(xué)習(xí)模型更準確，更不容易產(chǎn)生偏見。這強調(diào)了需要了解人工智能模型偏差的根本原因，而不是盲目地采用補救策略。
2.負面影響
人工智能算法的偏見也有可能直接來自其訓(xùn)練數(shù)據(jù)中存在的類似偏差。例如，受過訓(xùn)練以執(zhí)行語言翻譯任務(wù)的機器學(xué)習(xí)模型傾向于將女性名字與“父母”和“婚禮”等屬性相關(guān)聯(lián)，而男性名字與諸如“專業(yè)”和“薪酬”之類的單詞之間的關(guān)聯(lián)性更強。該模型不太可能會自己建立關(guān)聯(lián)。與其相反，它是在反映這些性別取向的文本素材庫上進行訓(xùn)練的。這是產(chǎn)生負面影響的一個例子。
在自然語言處理中，性別偏見是一個令人困擾但經(jīng)過充分研究的問題：對原因的清晰了解提供了糾正它的途徑。在英語這樣的名詞和形容詞傾向于性別的語言中，研究人員發(fā)現(xiàn)了強制詞嵌入以保持性別中立的方法。而在其他語言具有固有性別詞語的情況下，可以通過引入打破性別和中性詞之間因果關(guān)系的示例來增強語言素材庫，以防止出現(xiàn)偏見。
在其他應(yīng)用領(lǐng)域中，負面影響可能是最難緩解的偏見之一，因為偏見固有地內(nèi)置于機器學(xué)習(xí)模型從中學(xué)習(xí)的數(shù)據(jù)集中。因此，該模型可以將多年來對某一人群的系統(tǒng)性偏見進行編碼。例如，或者根據(jù)人們居住的地方拒絕向他們提供貸款，可能會使貸款批準數(shù)據(jù)集更側(cè)重于白人。數(shù)據(jù)中的這種偏差會導(dǎo)致人工智能模型的偏見。
盡管現(xiàn)有的緩解偏見策略可能會嘗試提高黑人申請者的信用接受率，但這可能會掩蓋該模型偏見的真正原因，并使其難以解決根本問題。FICO分數(shù)通常用作信貸決策的輸入，已經(jīng)顯示出種族歧視。在這種情況下，事后偏差緩解策略的有效性將低于尋找與信用價值也存在因果關(guān)系的替代數(shù)據(jù)源。因此，通過尋找替代數(shù)據(jù)可以減輕負面影響。
3.低估
正如數(shù)據(jù)可能存在偏差一樣，也可能出現(xiàn)數(shù)據(jù)不足的情況。如果沒有足夠的數(shù)據(jù)，機器學(xué)習(xí)模型可能無法提供可靠的預(yù)測。這是被低估的問題。亞馬遜公司最近訓(xùn)練了一種機器學(xué)習(xí)模型，以在招聘過程中篩選求職者，但與許多其他科技公司一樣，亞馬遜的勞動力隊伍男性比例過高。這種數(shù)據(jù)失衡使得其人工智能模型在評估男性時更加側(cè)重，亞馬遜公司認識到這種模型的推薦人選存在偏差，因此在其招聘渠道中取消了這種模型。
如果尋找更多或更好的數(shù)據(jù)，亞馬遜公司或許能夠構(gòu)建出一種無偏見的招聘工具，但是如果不能正確地理解出現(xiàn)這種偏見的原因，這是不可能實現(xiàn)的。而在低估的情況下，模型的預(yù)測確定性可以跨人群的子組進行分析，通過自動增加新實例，可以使基礎(chǔ)數(shù)據(jù)集實現(xiàn)多樣化。
衡量模型確定性和穩(wěn)定性的方法對于了解模型是否準備好對所有人群做出可靠的預(yù)測至關(guān)重要。在低估的情況下，提供的數(shù)據(jù)集無法充分表現(xiàn)出數(shù)據(jù)的細微差別。但是，用于促進公平或事后偏向緩解策略的對抗性訓(xùn)練技術(shù)可能不會像將數(shù)據(jù)集擴展得更全面。
人工智能算法可以編碼并保持偏見，這已經(jīng)不是什么秘密，這可能會帶來不良的后果。盡管這描繪了一種嚴峻的場景，但重要的是要記住，如果處理得當(dāng)，算法偏差(與人類偏見不同)最終是可以量化和固定的。與盲目減少人工智能偏見不同，準確理解偏見背后的真正原因?qū)Σ渴鸢踩煽康娜斯ぶ悄苤陵P(guān)重要。
盡管這些原因很復(fù)雜，但研究人員仍在繼續(xù)開發(fā)更好的方法來衡量特定人群的不同結(jié)果，確定導(dǎo)致這些差異的特征，并為特定的偏見來源選擇合理的緩解策略。隨著越來越多的決策實現(xiàn)自動化，必須從根本上消除人工智能偏見，以創(chuàng)建公平和公正的模型。
