大語言模型的七大應(yīng)用風(fēng)險(xiǎn)

隨著基于大語言模型的生成式人工智能的企業(yè)和消費(fèi)應(yīng)用快速發(fā)展,其安全風(fēng)險(xiǎn)已經(jīng)開始快速累積。我國不久前剛剛頒布的《生成式人工智能服務(wù)管理暫行辦法》明確規(guī)定了生成式人工智能服務(wù)不得侵犯個(gè)人隱私、知識(shí)產(chǎn)權(quán)、商業(yè)機(jī)密或捏造有害虛假信息。

1.png

本文來自微信公眾號(hào)“GoUpSec”。

隨著基于大語言模型的生成式人工智能的企業(yè)和消費(fèi)應(yīng)用快速發(fā)展,其安全風(fēng)險(xiǎn)已經(jīng)開始快速累積。我國不久前剛剛頒布的《生成式人工智能服務(wù)管理暫行辦法》明確規(guī)定了生成式人工智能服務(wù)不得侵犯個(gè)人隱私、知識(shí)產(chǎn)權(quán)、商業(yè)機(jī)密或捏造有害虛假信息。

但是由于生成式人工智能技術(shù)已經(jīng)快速滲透到各種產(chǎn)品、服務(wù)和技術(shù)中,業(yè)務(wù)用例不斷增長,相關(guān)內(nèi)容安全和網(wǎng)絡(luò)安全違規(guī)事件勢必將呈現(xiàn)爆發(fā)式增長。Salesforce最近對500多名IT主管進(jìn)行的調(diào)查顯示,盡管大多數(shù)人(67%)在未來18個(gè)月內(nèi)優(yōu)先考慮在其業(yè)務(wù)中使用生成式AI,但幾乎所有IT主管都承認(rèn)需要采取額外措施來解決安全問題。

報(bào)告顯示,大多數(shù)企業(yè)都計(jì)劃購買(而不是開發(fā))生成式人工智能,許多企業(yè)準(zhǔn)備在業(yè)務(wù)應(yīng)用中集成該功能(服務(wù))。這意味著安全主管們需要未雨綢繆,投入時(shí)間了解不同業(yè)務(wù)的生成式人工智能用例及其相關(guān)風(fēng)險(xiǎn)。因?yàn)椴煌髽I(yè)和業(yè)務(wù)領(lǐng)域的生成式人工智能用例存在很大差異,引入的安全風(fēng)險(xiǎn)也存在迥然不同。

七個(gè)最熱門的

大語言模型業(yè)務(wù)用例與風(fēng)險(xiǎn)

根據(jù)Forrester的《生成式人工智能安全報(bào)告》,在企業(yè)應(yīng)用市場最熱門的七大生成式人工智能用例及其相關(guān)的安全風(fēng)險(xiǎn)是:

一、營銷:文本生成器允許營銷人員立即生成營銷活動(dòng)的草稿。Forrester表示,這會(huì)帶來數(shù)據(jù)泄露和競爭情報(bào)威脅。大語言模型營銷應(yīng)用的風(fēng)險(xiǎn)還包括內(nèi)容發(fā)布前監(jiān)督和治理流程不善導(dǎo)致的公共關(guān)系/客戶問題。

二、設(shè)計(jì):Forrester指出,圖像生成工具激發(fā)了設(shè)計(jì)師的靈感,大大提高創(chuàng)意模型的制作效率,但這同時(shí)也引入了模型中毒、數(shù)據(jù)篡改和數(shù)據(jù)完整性威脅。需要考慮的風(fēng)險(xiǎn)包括數(shù)據(jù)完整性問題和生成內(nèi)容的潛在版權(quán)/知識(shí)產(chǎn)權(quán)問題。

三、IT程序員使用大型語言模型(LLM)來查找代碼中的錯(cuò)誤并自動(dòng)生成文檔。Forrester表示,這會(huì)帶來數(shù)據(jù)泄露、數(shù)據(jù)泄露和數(shù)據(jù)完整性威脅,而生成的文檔可能會(huì)泄露公司重要系統(tǒng)機(jī)密信息。

四、開發(fā)人員:TuringBots能幫助開發(fā)人員編寫原型代碼并實(shí)現(xiàn)復(fù)雜的軟件系統(tǒng)。但Forrester認(rèn)為,這會(huì)帶來代碼安全、數(shù)據(jù)篡改、勒索軟件和IP盜竊問題。潛在風(fēng)險(xiǎn)包括不遵循SDLC安全實(shí)踐的不安全代碼、違反知識(shí)產(chǎn)權(quán)許可要求的代碼,或生成AI被黑客入侵以勒索生產(chǎn)系統(tǒng)。

五、數(shù)據(jù)科學(xué)家:數(shù)據(jù)科學(xué)家可以利用生成式人工智能生產(chǎn)和共享模型訓(xùn)練數(shù)據(jù),優(yōu)點(diǎn)之一是不會(huì)侵犯個(gè)人隱私。但這引入了數(shù)據(jù)中毒、數(shù)據(jù)反混淆和對抗性機(jī)器學(xué)習(xí)威脅。對手可利用逆向工程分析合成數(shù)據(jù)生成模型,識(shí)別其所使用的源數(shù)據(jù)。

六、銷售:生成式人工智能可幫助銷售團(tuán)隊(duì)產(chǎn)生想法,或者使用包容性語言創(chuàng)建新內(nèi)容。但這同時(shí)這會(huì)帶來數(shù)據(jù)篡改、數(shù)據(jù)泄露和法規(guī)遵從性威脅。銷售團(tuán)隊(duì)用AI生成和分發(fā)內(nèi)容時(shí)可能會(huì)背離聯(lián)系人的偏好。

七、運(yùn)營:企業(yè)可在內(nèi)部運(yùn)營中使用生成式人工智能來提升自動(dòng)化和智能化水平。但這也引入了數(shù)據(jù)篡改、數(shù)據(jù)完整性和員工體驗(yàn)威脅。Forrester指出,風(fēng)險(xiǎn)在于,決策使用的數(shù)據(jù)可能會(huì)被篡改,從而導(dǎo)致錯(cuò)誤的結(jié)論和執(zhí)行。

總結(jié):留神AI第三方風(fēng)險(xiǎn)

雖然Forrester列出的七大最熱門生成式AI業(yè)務(wù)用例(及風(fēng)險(xiǎn))都集中在企業(yè)內(nèi)部業(yè)務(wù)功能,但Forrester也敦促企業(yè)安全領(lǐng)導(dǎo)者不要忽視供應(yīng)商和第三方風(fēng)險(xiǎn)因素:“鑒于大多數(shù)組織都會(huì)將生成式人工智能集成到已部署的產(chǎn)品和服務(wù)中,安全領(lǐng)導(dǎo)者的當(dāng)務(wù)之急是管理第三方風(fēng)險(xiǎn)管理,因?yàn)槌宋④浐凸雀柰?,大多?shù)解決方案中的生成式AI來自第三方供應(yīng)商。這些第三方AI服務(wù)的風(fēng)險(xiǎn)管理需要根據(jù)以上不同業(yè)務(wù)用例具體分析。

參考鏈接:

https://www.forrester.com/report/securing-generative-ai/RES179497

THEEND

最新評論(評論僅代表用戶觀點(diǎn))

更多
暫無評論