在近期的一篇麻省理工學院技術評論文章中，作者Virginia Eubanks討論了她的書Automating Inequality（《自動化不平等》）。她認為窮人是增加不平等性的新技術的試驗對象——強調(diào)當在確定社會服務的資格或分配過程中使用算法時，會加大人們獲取服務的難度，同時迫使他們自己處理收集個人數(shù)據(jù)的野蠻行為。
筆者已經(jīng)談了很多關于政府在執(zhí)法中使用人臉識別的危險性，然而，這篇文章讓筆者看到了不公平、以及可能威脅生命的行為，即通過基于算法數(shù)據(jù)的決策，拒絕或減少為可能真正有需求的公民提供救助服務。
在某種程度上，我們已經(jīng)習慣了讓公司對我們的生活作出隨意的決定，如抵押貸款，信用卡申請，汽車貸款等。然而，這些決定幾乎完全基于直接的決定因素，如信用評分、就業(yè)和收入。在社會服務的確定性算法中，存在直接監(jiān)管形式的偏見，以及會逼迫接受者強制分享個人身份信息。
Eubanks以匹茲堡縣兒童、青少年和家庭辦公室為例，使用“阿勒格尼家庭篩查工具（AFST）”，通過統(tǒng)計模型來評估虐待和忽視兒童的風險。工具中的算法的數(shù)據(jù)通常來自公立學校、當?shù)刈》抗芾砭?、失業(yè)服務、少年緩刑服務和縣警察等待——從根本上來說，這些數(shù)據(jù)來自于通常使用這些服務的低收入公民。相反，私人學校、保姆和私人心理健康和藥物治療服務等私人服務的數(shù)據(jù)并不可用。
像AFST這樣的決定工具將貧困和虐待風險等同起來，這是公然的階級主義，以及數(shù)據(jù)非人化的結果。在這方面不負責任地使用人工智能，如在執(zhí)法和政府監(jiān)督中的使用，具有真正威脅生命的潛力。
Taylor Owen在其2015年發(fā)表的一篇題為“The Violence of Algorithms”（《算法的暴力》）的文章中描述了他在情報分析軟件公司Palantir所見證的一次演示，并提出了兩個主要觀點：第一點是這些系統(tǒng)通常由人類編寫，基于數(shù)據(jù)標記，并由人類錄入，結果是“充滿了人類的偏見和錯誤”。然后他表示這些系統(tǒng)越來越多地被用于暴力。
“我們現(xiàn)在所構建的是對現(xiàn)實世界的實時、3D展示......但所有這些數(shù)據(jù)的含義來自何處？”他問道，這個也就提出了在人工智能和數(shù)據(jù)集中的一個固有問題。
歷史數(shù)據(jù)僅在有意義的情境下才有用，其中許多數(shù)據(jù)集未給出相應的情境。當我們處理貸款和信用卡等財務數(shù)據(jù)時，如前所述，這些都是由數(shù)字做出的決定。雖然在這些過程中確實存在一些錯誤，但如果沒人相信這些東西的話，警察可能就不會找上門。
然而，構建一個用于預測偏差、且使用追捕數(shù)據(jù)作為決定的主要因素的系統(tǒng)，可能會導致警方的介入，并且其目的也是如此。
當我們回想起他們打算以少數(shù)群體為目標，且完全合法的現(xiàn)代歷史政策時，吉姆·克勞法（Jim Crow）肯定會浮現(xiàn)在腦海中。我們也不要忘記，盡管有1965年的民權法案，這些法律直到1967年才被宣布為違憲。
在這種情況下，你可以清楚地看到，從憲法規(guī)定黑人是完全的美國人，到現(xiàn)在只有51年。當前的算法偏見，無論是有意的還是固有的，都在創(chuàng)建一種系統(tǒng)，使窮人和少數(shù)民族進一步被定罪、以及被邊緣化。
很顯然，在這個社會中，我們所應盡的道德層面的責任和義務，就是力所能及的避免幫助政府去“殺”更多的人，而這個責任很大程度上取決于真正訓練這些算法的人群，也就是我們，并且，我們不應該把沒有良知的系統(tǒng)看做是一種權威。
在她的作品中，Eubanks向負責算法的人們提出了一些接近希波克拉底誓言的東西：不做傷天害理之事，不要有偏見，以確保所構建的系統(tǒng)不會成為冷酷無情的壓迫者。
為此，麻省理工學院的Joy Buolamwini，算法正義聯(lián)盟（Algorithmic Justice League）的創(chuàng)始人兼負責人，已經(jīng)承諾以負責任的方式使用面部分析技術。
該承諾包括展現(xiàn)人類生命和尊嚴的價值，其中包括拒絕參與致命自主武器的開發(fā)，并且不對無執(zhí)法根據(jù)的個人目標使用面部分析產(chǎn)品和服務。
這一承諾是朝著自我監(jiān)管方向邁出的重要的第一步，并且是圍繞使用面部識別的最基本監(jiān)管程序的開始。
原文作者：Brian Brackeen
