機器學(xué)習(xí)雖然有 探測癌癥 和制造防撞 自動駕駛汽車 的巨大潛力，但它也有可能顛覆我們對可見和隱藏事物的認(rèn)知。例如，它可以通過像素化實現(xiàn) 高度精確的面部識別，甚至——正如 Facebook 的 劍橋分析 (Cambridge Analytica) 丑聞所顯示的——利用公共社交媒體數(shù)據(jù)來預(yù)測更敏感的信息特征，比如某人的政治傾向。
然而，這些機器學(xué)習(xí)應(yīng)用程序也存在人類不存在的一種奇怪的盲點——一種固有的缺陷，它會讓圖像分類器把 來福槍誤認(rèn)為直升機，或者讓自動駕駛汽車 沖過停車標(biāo)志。這些被稱為 對抗性例子 的錯誤分類長期以來一直被視為機器學(xué)習(xí)模型中揮之不去的弱點。只需對圖像進行一些小的調(diào)整或向數(shù)據(jù)庫添加一些假數(shù)據(jù)，就可以欺騙系統(tǒng)得出完全錯誤的結(jié)論。
如今，包括羅切斯特理工學(xué)院 (Rochester Institute of Technology) 和杜克大學(xué) (Duke University) 在內(nèi)的一些以隱私為研究重點的研究人員，正在探索利用這個致命弱點是否也能保護我們的信息。“攻擊者越來越多地使用機器學(xué)習(xí)來侵犯用戶隱私“，杜克大學(xué)計算機科學(xué)教授 Neil Gong 說，“攻擊者知道怎么運用機器學(xué)習(xí)的力量的同時也知道它的弱點，我們可以把這種弱點，這種對抗性的例子，變成保護我們隱私的武器。”
偽造少許數(shù)據(jù)
Gong 指出 Facebook 的劍橋分析事件正是他希望避免的侵犯隱私事件：這家數(shù)據(jù)科學(xué)公司向數(shù)千名 Facebook 用戶支付每人幾美元的費用，讓他們回答政治和個人問題，然后將這些答案與他們在 Facebook 上的公開數(shù)據(jù)聯(lián)系起來，形成一套“訓(xùn)練數(shù)據(jù)”。當(dāng)該公司利用該數(shù)據(jù)集訓(xùn)練一個機器學(xué)習(xí)引擎時得到的模型，據(jù)稱能基于 Facebook 的公共數(shù)據(jù)預(yù)測私人政治信仰。
Gong 和他在杜克大學(xué)的同事賈金元 (音譯) 想知道對抗的例子是否可以防止這種侵犯隱私的行為。如果在一張照片上只改變幾個像素就能讓機器學(xué)習(xí)訓(xùn)練出來的圖像識別引擎把兔子和烏龜搞混，那么在某人的個人資料中添加或減去幾個 Facebook 上的“贊”，也能得到扭曲的結(jié)果么？
“我們總能找到擊敗他們的反面例子。”NEIL GONG，杜克大學(xué)
為了驗證這一假設(shè)，杜克大學(xué)的研究人員使用了一個類似的數(shù)據(jù)集：谷歌游戲商店中的評論。為了真實模擬劍橋分析公司，他們在谷歌的應(yīng)用商店中收集了成千上萬的評分，這些評分是由用戶提交的，這些用戶還在谷歌 Plus 的個人資料中透露了他們的地域。然后，他們用這些數(shù)據(jù)訓(xùn)練了一個機器學(xué)習(xí)引擎，試圖僅根據(jù)用戶的 app 評分來預(yù)測他們的家鄉(xiāng)所在的城市。他們發(fā)現(xiàn)，僅根據(jù)谷歌游戲喜好，一些機器學(xué)習(xí)技術(shù)就可以在第一次嘗試時猜測出用戶所在的城市，準(zhǔn)確率高達(dá) 44%。
他們建立了他們的機器學(xué)習(xí)引擎，研究人員試圖用對抗性的例子來打破它。在用幾種不同的方法調(diào)整數(shù)據(jù)后，他們發(fā)現(xiàn)，只要添加三個假的應(yīng)用程序評級，選擇一個統(tǒng)計上不正確的城市，或者去掉暴露的評級，那么少量的噪音就會降低引擎預(yù)測的準(zhǔn)確性，使預(yù)測結(jié)果與隨機猜測一樣。他們稱由此產(chǎn)生的 系統(tǒng)為“摩擦保護”，以保護數(shù)據(jù)的私有屬性免受機器學(xué)習(xí)的窺探。Gong 說：“只需稍加修改，我們就可以擾亂用戶的資料，從而使攻擊者的準(zhǔn)確率降低到基線水平。”
Gong 承認(rèn)，預(yù)測和保護私人用戶數(shù)據(jù)的貓鼠游戲并沒有就此結(jié)束。如果機器學(xué)習(xí)的“攻擊者”意識到對抗的例子可能會保護數(shù)據(jù)集不被分析，他或她可以使用所謂的“對抗訓(xùn)練”模型” 生成自己的對抗性示例以包含在訓(xùn)練數(shù)據(jù)集中，這樣生成的機器學(xué)習(xí)引擎就很難被欺騙了。但防御者可以通過添加更多的對抗性例子來應(yīng)對，以挫敗更強大的機器學(xué)習(xí)引擎，從而導(dǎo)致無休止的針鋒相對。“即使攻擊者使用所謂的魯棒的機器學(xué)習(xí)，我們?nèi)匀豢梢哉{(diào)整對抗性例子來避開這些方法，”Gong 說。“我們總能找到擊敗他們的反面例子。”
竊聽 Mockingbird 實驗
另一個研究小組嘗試了一種對抗性示例數(shù)據(jù)保護的形式，旨在打破貓捉老鼠的游戲。羅切斯特理工學(xué)院 (Rochester Institute of Technology) 和德克薩斯大學(xué)阿靈頓分校 (University of Texas at Arlington) 的研究人員研究了對抗性的例子如何防止 VPNs 和匿名軟件 Tor 等工具中潛在的隱私泄露。Tor 旨在隱藏網(wǎng)絡(luò)流量的來源和目的地。攻擊者可以在傳輸過程中訪問加密的 web 瀏覽數(shù)據(jù)，在某些情況下，他們可以使用機器學(xué)習(xí)來發(fā)現(xiàn)混亂的流量中的模式，從而使監(jiān)視者能夠預(yù)測用戶訪問的是哪個網(wǎng)站，甚至是哪個特定的頁面。在他們的測試中，研究人員發(fā)現(xiàn)，這種被稱為網(wǎng)絡(luò)指紋的技術(shù)，可以從 95 種可能性中識別出一個網(wǎng)站，準(zhǔn)確率高達(dá) 98%。
研究人員猜想，他們可以在加密的網(wǎng)絡(luò)流量中加入對抗性的“噪音”，以阻止網(wǎng)絡(luò)指紋識別。但他們走得更遠(yuǎn)，試圖通過對抗性訓(xùn)練來繞過對手的保護。為此，他們對 Tor web 會話生成了復(fù)雜的對抗性示例調(diào)整組合，這是一種流量變化的集合，其目的不僅是欺騙指紋引擎，使其錯誤地檢測出一個站點的流量與另一個站點的流量相同，而且還混合了來自大量誘餌站點流量的相反示例變化。
了解更多
這個系統(tǒng)研究人員稱之為“Mockingbird”，以指代它的混合模仿策略，它會增加大量的開銷——大約比正常 Tor 流量多 56% 的帶寬。但這使得指紋識別更加困難：他們的機器學(xué)習(xí)模型預(yù)測用戶訪問哪個網(wǎng)站的準(zhǔn)確率下降到 27% 到 57% 之間。RIT 的一位研究人員馬修·賴特 (Matthew Wright) 說，由于他們采用隨機調(diào)整數(shù)據(jù)的方式，這種保護措施很難通過對抗性訓(xùn)練來克服。“因為我們以這種隨機的方式跳來跳去，攻擊者很難想出所有不同的可能性以及足夠多的包含所有可能性的對抗例子，”Wright 說。
紐約大學(xué)坦頓工程學(xué)院 (Tandon School of Engineering) 專注于機器學(xué)習(xí)和安全的計算機科學(xué)家布倫丹?杜蘭 - 加維特 (Brendan Dolan-Gavitt) 表示，從隱私的角度來看，這些早期實驗將對抗性例子用作一種保護機制，而非漏洞，前景非常好。但他警告稱，他們正在與機器學(xué)習(xí)研究的主流方向背離：絕大多數(shù)研究機器學(xué)習(xí)的學(xué)者將對抗性的例子視為一個需要解決的問題，而不是一種可以利用的機制。
Dolan-Gavitt 說，他們遲早會解決這個問題，并在這個過程中刪除作為隱私特征的敵對例子。“考慮到我們目前所知的情況，就目前的技術(shù)水平而言，這肯定是可行的，”多蘭·加維特 (Dolan Gavitt) 說。“ 我認(rèn)為，我主要關(guān)心的是如何防止對抗性的例子和訓(xùn)練機器學(xué)習(xí)模型，使它們不會受到它們的攻擊，這是目前機器學(xué)習(xí)中最熱門的話題之一"。作者認(rèn)為，這是一個無法克服的根本性問題。我不知道這樣賭對不對。”
最后，Dolan-Gavitt 指出，機器學(xué)習(xí)在檢測腫瘤或自動駕駛方面發(fā)揮的作用是值得肯定的。但隨著機器學(xué)習(xí)的每一次進步，它的預(yù)測能力也越來越強，想要躲避它也變得越來越難。
