本文來(lái)自微信公眾號(hào)“GoUpSec”。
隨著掌管數(shù)字生活入口的萬(wàn)億美元俱樂(lè)部企業(yè)——蘋(píng)果公司跳入人工智能（AI）賽道，AI技術(shù)民主化的大幕正式拉開(kāi)，同時(shí)也將AI安全問(wèn)題推向輿論的風(fēng)口浪尖。
根據(jù)瑞銀本周一的智能手機(jī)調(diào)查報(bào)告，在中國(guó)以外的智能手機(jī)用戶(hù)中，只有27%的人對(duì)提供生成式AI功能的設(shè)備感興趣，價(jià)格和隱私才是用戶(hù)最關(guān)心的問(wèn)題。顯然，用戶(hù)最關(guān)心的不是AI帶來(lái)的效率和體驗(yàn)，而是隱私和AI安全的新威脅。
AI面臨的頭號(hào)威脅：投毒攻擊
近日，美國(guó)國(guó)家標(biāo)準(zhǔn)與技術(shù)研究院（NIST）發(fā)出警告稱(chēng)，隨著人工智能技術(shù)的快速普及，越來(lái)越多的黑客將發(fā)起“投毒攻擊”，AI應(yīng)用的安全性將面臨嚴(yán)峻考驗(yàn)。
投毒攻擊是針對(duì)人工智能（AI）系統(tǒng)的一種惡意行為，黑客通過(guò)操縱輸入數(shù)據(jù)或直接修改模型來(lái)影響AI系統(tǒng)的輸出。
過(guò)去，業(yè)界針對(duì)AI系統(tǒng)的“投毒攻擊”并不重視，軟件公司Splunk曾在《2024年安全狀態(tài)報(bào)告》指出：“AI中毒仍然是一種可能性，但尚未普及。”
但是安全專(zhuān)家們警告CISO加強(qiáng)戒備，因?yàn)橛雄E象表明黑客正越來(lái)越多地瞄準(zhǔn)AI系統(tǒng)，尤其是通過(guò)破壞數(shù)據(jù)或模型來(lái)進(jìn)行投毒攻擊，各種規(guī)模和類(lèi)型的企業(yè)都可能成為攻擊目標(biāo)。
咨詢(xún)公司Protiviti透露，該公司的一家客戶(hù)企業(yè)近日遭遇了投毒攻擊：黑客試圖通過(guò)投喂惡意輸入數(shù)據(jù)來(lái)操縱該公司AI系統(tǒng)的輸出結(jié)果。
Protiviti指出：“所有企業(yè)，無(wú)論是內(nèi)部開(kāi)發(fā)的AI模型還是使用第三方AI工具，都面臨投毒攻擊風(fēng)險(xiǎn)。”
四種主要的投毒攻擊
NIST在2024年1月的一份報(bào)告中強(qiáng)調(diào)了投毒攻擊的危險(xiǎn)性：“中毒攻擊非常強(qiáng)大，可導(dǎo)致AI系統(tǒng)的可用性或完整性受到破壞。”
NIST將投毒攻擊劃分為以下四大類(lèi)型：
可用性投毒：無(wú)差別地影響整個(gè)機(jī)器學(xué)習(xí)模型，相當(dāng)于針對(duì)AI系統(tǒng)的拒絕服務(wù)攻擊。
目標(biāo)投毒：黑客在少數(shù)目標(biāo)樣本上誘導(dǎo)機(jī)器學(xué)習(xí)模型產(chǎn)生錯(cuò)誤的預(yù)測(cè)結(jié)果。
后門(mén)投毒：通過(guò)在訓(xùn)練時(shí)在一部分圖像中添加小的觸發(fā)補(bǔ)丁并更改其標(biāo)簽，可以影響圖像分類(lèi)器，以在實(shí)際使用時(shí)激活錯(cuò)誤行為。
模型投毒：直接修改訓(xùn)練后的機(jī)器學(xué)習(xí)模型以注入惡意功能，使其在特定情況下表現(xiàn)異常。
NIST和安全專(zhuān)家指出，除了中毒攻擊，AI系統(tǒng)還面臨隱私泄露以及直接和間接提示注入等多種攻擊。
NIST研究團(tuán)隊(duì)主管ApostolVassilev表示：“企業(yè)部署AI會(huì)引入全新的攻擊面，我們已經(jīng)看到了學(xué)術(shù)界和其他研究人員展示的漏洞利用。隨著AI技術(shù)的普及，黑客攻擊的價(jià)值也隨之增加，這也是為什么我們會(huì)看到更嚴(yán)重的漏洞利用，我們已經(jīng)看到相關(guān)案例的增加。”
AI投毒攻擊可來(lái)自?xún)?nèi)部或外部
安全專(zhuān)家表示，中毒攻擊既可能由內(nèi)部人員發(fā)起，也可能由外部黑客發(fā)起，這與傳統(tǒng)的網(wǎng)絡(luò)攻擊類(lèi)似。
FTIConsulting管理董事DavidYoussef表示，國(guó)家級(jí)黑客可能是最大的風(fēng)險(xiǎn)之一，因?yàn)樗麄冇心芰唾Y源投資于這類(lèi)攻擊。
專(zhuān)家指出，黑客發(fā)起AI投毒攻擊的動(dòng)機(jī)與傳統(tǒng)網(wǎng)絡(luò)攻擊類(lèi)似，例如為了造成破壞或損失，以及獲取機(jī)密數(shù)據(jù)或勒索金錢(qián)。
主要目標(biāo)：AI廠商
雖然任何使用AI的企業(yè)和機(jī)構(gòu)都可能成為受害者，但I(xiàn)EEE高級(jí)成員和Hyperproof的CISOKayneMcGladrey表示，黑客更有可能瞄準(zhǔn)制造和訓(xùn)練AI系統(tǒng)的科技公司。
最近的一個(gè)案例暴露了AI技術(shù)供應(yīng)鏈上游的潛在巨大風(fēng)險(xiǎn)?？萍脊綣Frog的研究人員發(fā)現(xiàn)，約有100個(gè)惡意機(jī)器學(xué)習(xí)模型被上傳到公開(kāi)的AI模型庫(kù)HuggingFace。
研究人員指出，這些惡意模型可能允許攻擊者在加載模型時(shí)向用戶(hù)機(jī)器注入惡意代碼，可能會(huì)迅速破壞大量用戶(hù)環(huán)境。
CISO應(yīng)該怎么做？
根據(jù)ISC2今年2月份的調(diào)查，很多CISO并未做好應(yīng)對(duì)AI風(fēng)險(xiǎn)的準(zhǔn)備。報(bào)告發(fā)現(xiàn)，超過(guò)1100名受訪者中，75％表示中度至極度擔(dān)心人工智能會(huì)被用于網(wǎng)絡(luò)攻擊或其他惡意活動(dòng)，其中深度偽造、虛假信息和社會(huì)工程是網(wǎng)絡(luò)專(zhuān)業(yè)人士最擔(dān)心的三大問(wèn)題。
盡管人們對(duì)此高度擔(dān)憂(yōu)，但只有60%的人表示，他們有信心帶領(lǐng)組織安全采用AI。此外，41%的人表示，他們?cè)诒Ｗo(hù)AI和ML技術(shù)方面幾乎沒(méi)有或根本沒(méi)有專(zhuān)業(yè)知識(shí)。與此同時(shí)，只有27%的人表示，他們的組織制定了有關(guān)AI安全和道德使用的正式政策。
ISC2首席信息安全官JonFrance表示：“一般的CISO并不擅長(zhǎng)AI開(kāi)發(fā)，也沒(méi)有將AI技能作為核心競(jìng)爭(zhēng)力。”
安全專(zhuān)家建議，防御投毒攻擊需要采用多層防御策略，包括強(qiáng)大的訪問(wèn)和身份管理程序、安全信息和事件管理（SIEM）系統(tǒng)以及異常檢測(cè)工具。此外，還需要良好的數(shù)據(jù)治理實(shí)踐以及對(duì)AI工具的監(jiān)控和監(jiān)督。
NIST在《對(duì)抗性機(jī)器學(xué)習(xí)》報(bào)告中也提供了詳細(xì)的緩解策略和關(guān)于投毒攻擊的詳細(xì)信息。
最后，一些安全領(lǐng)導(dǎo)者強(qiáng)烈建議CISO在團(tuán)隊(duì)中增加接受過(guò)AI安全培訓(xùn)的專(zhuān)業(yè)人才（普通SOC團(tuán)隊(duì)無(wú)法評(píng)估訓(xùn)練數(shù)據(jù)集和AI模型），并與其他高管合作，識(shí)別和理解與AI工具相關(guān)的風(fēng)險(xiǎn)（包括中毒攻擊），制定風(fēng)險(xiǎn)緩解策略。
