過(guò)去的十年中，云計(jì)算的普及為廣大企業(yè)提供了高性能的運(yùn)算與數(shù)據(jù)存儲(chǔ)服務(wù)。受益于此，機(jī)器學(xué)習(xí)的應(yīng)用也迎來(lái)了爆發(fā)式的增長(zhǎng)。隨著上游供應(yīng)商將機(jī)器學(xué)習(xí)整合進(jìn)他們的產(chǎn)品當(dāng)中，這些機(jī)器學(xué)習(xí)的運(yùn)算結(jié)果也成為了用戶(hù)做決策的重要依據(jù)。對(duì)此，安全專(zhuān)家警告稱(chēng)，針對(duì)機(jī)器學(xué)習(xí)技術(shù)漏洞進(jìn)行的網(wǎng)絡(luò)攻擊將會(huì)大量出現(xiàn)。
大多數(shù)網(wǎng)絡(luò)社交平臺(tái)、在線(xiàn)視頻網(wǎng)站、大型購(gòu)物網(wǎng)站、搜索引擎等服務(wù)都有基于機(jī)器學(xué)習(xí)技術(shù)的推薦系統(tǒng)。比如網(wǎng)飛用戶(hù)愛(ài)看的電影和表演，臉書(shū)用戶(hù)點(diǎn)贊或分享的內(nèi)容，推特用戶(hù)點(diǎn)贊或標(biāo)注的內(nèi)容，消費(fèi)者在亞馬遜購(gòu)物網(wǎng)站上購(gòu)買(mǎi)或?yàn)g覽過(guò)的商品以及網(wǎng)友通過(guò)谷歌搜索查詢(xún)過(guò)的信息，這些數(shù)據(jù)全都反饋給了這些公司的機(jī)器學(xué)習(xí)系統(tǒng)，從而可以更加準(zhǔn)確地給用戶(hù)推送適合其口味的信息。
網(wǎng)絡(luò)攻擊者試圖影響這些推薦系統(tǒng)并使其結(jié)果發(fā)生偏差，這早已不是什么新聞了。他們會(huì)用虛假的賬戶(hù)給某些特定的產(chǎn)品投贊成或反對(duì)票，并進(jìn)行分享和推廣。用戶(hù)甚至可以在地下市場(chǎng)或者“巨魔農(nóng)場(chǎng)”（注：專(zhuān)門(mén)在網(wǎng)絡(luò)上散播不實(shí)言論或發(fā)表煽動(dòng)性評(píng)論的網(wǎng)絡(luò)組織）購(gòu)買(mǎi)到這種操縱推薦系統(tǒng)的服務(wù)。
網(wǎng)絡(luò)安全供應(yīng)商F-Secure人工智能卓越中心的研究員Andrew Patel表示，“理論上，如果攻擊者了解某個(gè)用戶(hù)與系統(tǒng)交互的方式，他就可以設(shè)計(jì)一個(gè)專(zhuān)門(mén)針對(duì)該用戶(hù)的網(wǎng)絡(luò)攻擊，向其推薦油管視頻、推送惡意軟件或者誘導(dǎo)其關(guān)注冒充的社交賬戶(hù)等。因此，操縱算法可用于多種目的，包括提供虛假信息、網(wǎng)絡(luò)釣魚(yú)詐騙、改變公眾輿論、宣傳有害內(nèi)容以及損害品牌或個(gè)人名譽(yù)等。你甚至花錢(qián)就可以操縱谷歌搜索的鍵入自動(dòng)填充功能。”
什么是數(shù)據(jù)中毒
導(dǎo)致數(shù)據(jù)中毒或模型中毒類(lèi)型的網(wǎng)絡(luò)攻擊會(huì)污染機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)。由于篡改訓(xùn)練數(shù)據(jù)會(huì)妨礙模型做出準(zhǔn)確的預(yù)測(cè)，所以通常認(rèn)為數(shù)據(jù)中毒屬于完整性攻擊。其他的網(wǎng)絡(luò)攻擊根據(jù)其影響可以歸類(lèi)為以下三種：
機(jī)密性攻擊：攻擊者通過(guò)向模型輸入數(shù)據(jù)來(lái)推斷訓(xùn)練數(shù)據(jù)中潛在的機(jī)密信息。
有效性攻擊：攻擊者對(duì)其輸入的數(shù)據(jù)進(jìn)行偽裝來(lái)欺騙系統(tǒng)，逃避正確的歸類(lèi)。
復(fù)制性攻擊：攻擊者反向還原模型以對(duì)其進(jìn)行復(fù)制或者本地分析，并策劃攻擊或?qū)崿F(xiàn)自身的經(jīng)濟(jì)企圖。
想要區(qū)分規(guī)避模型預(yù)測(cè)及分類(lèi)的網(wǎng)絡(luò)攻擊與中毒攻擊，主要在于其持續(xù)性。發(fā)起中毒攻擊者的目的是欲使其輸入的數(shù)據(jù)被系統(tǒng)識(shí)別為訓(xùn)練數(shù)據(jù)。依照模型數(shù)據(jù)訓(xùn)練周期的長(zhǎng)短，兩種攻擊的時(shí)限也有所不同，比如有的中毒攻擊要花數(shù)周時(shí)間才能完成。
數(shù)據(jù)中毒可以通過(guò)“黑盒”或“白盒”兩種形式來(lái)實(shí)現(xiàn)。“黑盒”是指針對(duì)根據(jù)用戶(hù)反饋來(lái)更新學(xué)習(xí)模型的分類(lèi)系統(tǒng)發(fā)動(dòng)的攻擊；“白盒”指攻擊者通過(guò)獲取學(xué)習(xí)模型和其訓(xùn)練數(shù)據(jù)的訪(fǎng)問(wèn)權(quán)限（如果系統(tǒng)有多個(gè)數(shù)據(jù)源，那么漏洞往往出現(xiàn)在供應(yīng)鏈）發(fā)起的攻擊。
數(shù)據(jù)中毒攻擊案例
Patel介紹，從網(wǎng)絡(luò)安全角度來(lái)看，攻擊對(duì)象可能是使用機(jī)器學(xué)習(xí)來(lái)檢測(cè)網(wǎng)絡(luò)異常和可疑活動(dòng)的系統(tǒng)。如果攻擊者得知系統(tǒng)中使用了某種機(jī)器學(xué)習(xí)模型，那么他們就會(huì)嘗試在模型中輸入數(shù)據(jù)，這些數(shù)據(jù)會(huì)逐步降低識(shí)別的準(zhǔn)確性，最終他們的攻擊將不會(huì)被系統(tǒng)識(shí)別為異常。這也稱(chēng)作模型偏斜。
一個(gè)真實(shí)案例來(lái)自對(duì)電子郵件服務(wù)使用的垃圾郵件過(guò)濾器的攻擊。谷歌反濫用研究團(tuán)隊(duì)負(fù)責(zé)人Elie Bursztein在2018年一篇關(guān)于攻擊機(jī)器學(xué)習(xí)的博客中表示：“現(xiàn)實(shí)中，我們常常發(fā)現(xiàn)一些頂尖的垃圾蟲(chóng)團(tuán)隊(duì)試圖破壞Gmail的郵件過(guò)濾器，大量的垃圾郵件在他們的影響之下未被識(shí)別。在2017年11月到2018年年初，我們至少遭到過(guò)四次試圖扭曲我們的分類(lèi)器的大規(guī)模惡意攻擊。”
另一個(gè)例子涉及到谷歌的VirusTotal病毒掃描服務(wù)，很多殺毒軟件都用這項(xiàng)服務(wù)擴(kuò)充自己的病毒庫(kù)。大家都已清楚，攻擊者在真正開(kāi)始傳播之前會(huì)用VirusTotal來(lái)測(cè)試他們的惡意軟件從而逃避檢測(cè)，而現(xiàn)在他們還會(huì)利用VirusTotal進(jìn)行更持久的數(shù)據(jù)中毒攻擊。實(shí)際上2015年就有報(bào)道稱(chēng)，通過(guò)VirusTotal進(jìn)行的主動(dòng)樣本中毒攻擊導(dǎo)致殺毒軟件誤將正常文件識(shí)別為惡意程序。
目前尚無(wú)解決良策
數(shù)據(jù)中毒最大的問(wèn)題在于其修復(fù)非常困難。依據(jù)用途和使用者偏好，機(jī)器學(xué)習(xí)模型每隔一段時(shí)間會(huì)使用新收集的數(shù)據(jù)重新訓(xùn)練。由于數(shù)據(jù)中毒是長(zhǎng)期累積的，且通?？缭蕉鄠€(gè)訓(xùn)練周期，想要確定模型預(yù)測(cè)的準(zhǔn)確性什么時(shí)候開(kāi)始發(fā)生偏差是非常困難的。
Patel表示，要想恢復(fù)數(shù)據(jù)中毒產(chǎn)生的影響，就需要耗費(fèi)大量時(shí)間分析受影響部分的歷史輸入記錄，對(duì)所有不良數(shù)據(jù)樣本加以識(shí)別并刪除。在這之后，還要對(duì)受攻擊前的版本的機(jī)器學(xué)習(xí)模型進(jìn)行再培訓(xùn)。然而，現(xiàn)實(shí)中在面對(duì)海量數(shù)據(jù)處理和大量網(wǎng)絡(luò)攻擊的情況下，通過(guò)這種方式進(jìn)行再培訓(xùn)根本不可行，導(dǎo)致模型無(wú)法修復(fù)。
微軟“可信賴(lài)機(jī)器學(xué)習(xí)”部門(mén)首席架構(gòu)師Hyrum Anderson談到：“學(xué)術(shù)界現(xiàn)在有一種全新的概念很吸引人，雖然還無(wú)法實(shí)際運(yùn)用，但那是遲早的事，就是所謂的機(jī)器反向?qū)W習(xí)。為GPT-3（OpenAI開(kāi)發(fā)的一種語(yǔ)言預(yù)測(cè)模型）模型做一次數(shù)據(jù)訓(xùn)練需要花費(fèi)1600萬(wàn)美元左右。如果數(shù)據(jù)是在中毒之后被識(shí)別，那么找到中毒數(shù)據(jù)并且重新訓(xùn)練的成本是十分昂貴的。但是如果能夠反向?qū)W習(xí)，比如說(shuō)要求系統(tǒng)撤銷(xiāo)某些數(shù)據(jù)的影響、去除它們的權(quán)重，那樣建立防御機(jī)制要便宜得多。但是，我認(rèn)為機(jī)器反向?qū)W習(xí)距離實(shí)際運(yùn)用至少還有數(shù)年時(shí)間，所以目前的解決辦法還是用有效數(shù)據(jù)對(duì)模型進(jìn)行再培訓(xùn)，盡管該方式難度極高且花費(fèi)極大。”
重點(diǎn)在于檢測(cè)和預(yù)防
既然修復(fù)中毒模型難度極大，模型開(kāi)發(fā)者必須花大功夫研究能夠阻止中毒攻擊或者能夠在下次訓(xùn)練周期之前檢測(cè)出惡意數(shù)據(jù)輸入的工具。這些工具包括輸入有效性檢查、速率限制、回歸測(cè)試、人工審核以及用各種統(tǒng)計(jì)學(xué)原理檢測(cè)數(shù)據(jù)異常的技術(shù)等。
比如說(shuō)，如果大量數(shù)據(jù)來(lái)自于同樣的少數(shù)幾個(gè)賬戶(hù)、IP地址或者用戶(hù)，那么這些數(shù)據(jù)不應(yīng)在機(jī)器學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù)中占較大比例，應(yīng)對(duì)訓(xùn)練數(shù)據(jù)接受單個(gè)特定用戶(hù)提供的數(shù)據(jù)量以及所占權(quán)重加以限制。通過(guò)“暗啟動(dòng)”（向一小部分用戶(hù)提前發(fā)布新功能），可以將新完成數(shù)據(jù)訓(xùn)練的分類(lèi)器與以前的進(jìn)行比較，分析輸出有何不同。谷歌的Bursztein還建議構(gòu)建一個(gè)“黃金數(shù)據(jù)庫(kù)”，任何重新訓(xùn)練的模型都要對(duì)其做出精確預(yù)測(cè)，從而幫助檢測(cè)系統(tǒng)進(jìn)化。
Anderson表示，數(shù)據(jù)中毒只是系統(tǒng)中更為廣泛的問(wèn)題中的一種特例，歸屬于數(shù)據(jù)漂移。每個(gè)人都會(huì)因?yàn)楦鞣N原因獲取壞數(shù)據(jù)，現(xiàn)在也有很多人在研究數(shù)據(jù)漂移的對(duì)策以及檢測(cè)運(yùn)行數(shù)據(jù)和模型性能出現(xiàn)重大變化的工具，包括大型云計(jì)算供應(yīng)商在內(nèi)。包含此類(lèi)功能的服務(wù)有Azure Monitor（微軟Azure的一項(xiàng)完整堆棧監(jiān)視服務(wù)）和Amazon SageMaker（亞馬遜的一項(xiàng)機(jī)器學(xué)習(xí)托管服務(wù)）。
Anderson還說(shuō)：“如果模型性能在訓(xùn)練后明顯下降，不管是因?yàn)樵獾街卸竟暨€是僅僅收到一批不良的數(shù)據(jù)所導(dǎo)致，系統(tǒng)都能夠檢測(cè)得到。如果要解決此問(wèn)題，就要徹底清除造成影響的中毒攻擊或者在模型訓(xùn)練中無(wú)意進(jìn)入系統(tǒng)的不良數(shù)據(jù)。因此，類(lèi)似的工具在處理中毒攻擊問(wèn)題上是很好的開(kāi)端，這種AI風(fēng)險(xiǎn)管理框架已經(jīng)逐漸在業(yè)界內(nèi)形成規(guī)模。”
攻擊者要進(jìn)行中毒攻擊同樣需要獲取模型運(yùn)行方式的信息，所以盡可能少地泄露信息、為訓(xùn)練數(shù)據(jù)和模型本身提供強(qiáng)有力的訪(fǎng)問(wèn)權(quán)限管理至關(guān)重要。從這個(gè)角度來(lái)看，機(jī)器學(xué)習(xí)防御與系統(tǒng)和數(shù)據(jù)的安全性和規(guī)范操作緊密相連，例如權(quán)限控制、啟用日志記錄、啟用文件和數(shù)據(jù)版本控制等。
Anderson表示，人工智能和機(jī)器學(xué)習(xí)模型的安全性大多與最基本的數(shù)據(jù)讀寫(xiě)權(quán)限和模型、系統(tǒng)、服務(wù)器的訪(fǎng)問(wèn)權(quán)限有關(guān)。在這種情況下，一些常規(guī)目錄下?lián)碛懈咴S可權(quán)限的小型數(shù)據(jù)服務(wù)或文件則容易導(dǎo)致中毒攻擊。
防范工作任重道遠(yuǎn)
正如企業(yè)會(huì)對(duì)其網(wǎng)絡(luò)和系統(tǒng)進(jìn)行常規(guī)的滲透檢查來(lái)發(fā)現(xiàn)薄弱環(huán)節(jié)，此類(lèi)檢查應(yīng)該擴(kuò)充到機(jī)器學(xué)習(xí)環(huán)節(jié)當(dāng)中，并將機(jī)器學(xué)習(xí)視為大型系統(tǒng)或程序安全的一部分。
Patel說(shuō)：“開(kāi)發(fā)者在構(gòu)建模型時(shí)應(yīng)該對(duì)模型本身進(jìn)行模擬攻擊，從而了解怎樣才能對(duì)模型發(fā)動(dòng)攻擊，進(jìn)而嘗試構(gòu)筑能夠抵御這些攻擊的防御措施。檢測(cè)結(jié)果取決于模擬攻擊的數(shù)據(jù)，所以在對(duì)模型實(shí)施攻擊時(shí)可以觀測(cè)數(shù)據(jù)點(diǎn)有何特征，然后再建立相應(yīng)機(jī)制，將與中毒攻擊類(lèi)似的數(shù)據(jù)點(diǎn)丟棄。”
Anderson正在積極參與微軟的機(jī)器學(xué)習(xí)模型防御工作。他在最近的一次USENIX Enigma會(huì)議上的演講中展示了他的團(tuán)隊(duì)在微軟所做的一種模擬攻擊嘗試。他們?cè)O(shè)法對(duì)一個(gè)資源供應(yīng)服務(wù)使用的機(jī)器學(xué)習(xí)模型進(jìn)行了逆向工程，這個(gè)模型可以保障虛擬資源有效分配并映射到硬件當(dāng)中。
在無(wú)法直接訪(fǎng)問(wèn)此模型的情況下，Anderson的團(tuán)隊(duì)獲取了足夠多的關(guān)于模型如何收集數(shù)據(jù)的信息，從而創(chuàng)建了一個(gè)本地的復(fù)制模型，并對(duì)該模型發(fā)起躲避性攻擊，且未被系統(tǒng)實(shí)時(shí)檢測(cè)到。這樣一來(lái)，他們得以確定在一天中的什么時(shí)候、在哪些區(qū)域，以及以什么樣的虛擬機(jī)器、數(shù)據(jù)庫(kù)、大小和復(fù)制因子的組合來(lái)向?qū)嶋H的系統(tǒng)發(fā)起請(qǐng)求，能夠大概率確定機(jī)器學(xué)習(xí)模型向他們請(qǐng)求的提供高可用性服務(wù)的物理主機(jī)過(guò)度配置資源。
對(duì)于這些超額配置的資源，團(tuán)隊(duì)利用一個(gè)占用很多CPU和內(nèi)存資源的負(fù)載發(fā)起了“吵鬧鄰居”攻擊（一種壟斷帶寬、磁盤(pán)和CPU等資源的云計(jì)算架構(gòu)），對(duì)托管在同一個(gè)硬件上的高可用性服務(wù)造成了拒絕服務(wù)攻擊。Anderson總結(jié)到：“這次攻擊與IT系統(tǒng)出現(xiàn)的惡意攻擊驚人的相似。它們都具備反滲透、躲避監(jiān)控和執(zhí)行環(huán)節(jié)，最終影響服務(wù)的可用性。”
作者：本文作者Lucian Constantin為美國(guó)CSO網(wǎng)站的資深作家，長(zhǎng)期專(zhuān)注于信息安全、隱私和數(shù)據(jù)保護(hù)等主題。
原文網(wǎng)址：https://www.csoonline.com/article/
3613932/how-data-poisoning-attacks-corrupt-machine-learning-models.html
編譯：陳琳華
