本文來自微信公眾號“嘶吼專業(yè)版”,作者/布加迪。
研究人員近日發(fā)現(xiàn),攻擊者可以利用ChatGPT往往返回虛假信息的習(xí)性來傳播惡意代碼包。
這對軟件供應(yīng)鏈構(gòu)成了重大風(fēng)險,因?yàn)樗赡茉试S惡意代碼和特洛伊木馬溜入到合法的應(yīng)用程序和代碼倉庫中,比如npm、PyPI和GitHub等。
Vulcan Cyber公司oyager18研究團(tuán)隊(duì)的研究人員在近日發(fā)布的一篇博文中披露,通過利用所謂的“AI代碼包幻覺”,威脅分子就可以創(chuàng)建ChatGPT建議的惡意代碼包,而開發(fā)人員在使用這種聊天機(jī)器人時可能會無意中下載這些代碼包,從而將它們引入到隨后被廣泛使用的軟件中。
在人工智能領(lǐng)域,幻覺是人工智能做出的一種貌似合理的響應(yīng),而實(shí)際上不充分、有偏誤或完全不正確。之所以會出現(xiàn)幻覺,是由于ChatGPT(以及作為生成式AI平臺基礎(chǔ)的其他大型語言模型即LLM)基于它們在龐大互聯(lián)網(wǎng)上能找到的資源、鏈接、博客和統(tǒng)計數(shù)據(jù),來回答向它們提出的問題,但這些內(nèi)容并不總是最可靠的訓(xùn)練數(shù)據(jù)。
Voyager18的首席研究人員Bar Lanyado在博文中寫道,由于這種廣泛的訓(xùn)練和接觸大量文本數(shù)據(jù),ChatGPT之類的LLM會生成“看似合理但實(shí)則虛假的信息,可能生成看似合理但不一定準(zhǔn)確的響應(yīng),這是一種以前就已觀察到的現(xiàn)象,似乎歸因于大型語言模型的工作方式。”
他在博文中解釋,在開發(fā)者領(lǐng)域,AI還會針對CVE生成有問題的修復(fù)程序,并提供指向不存在的編程庫的鏈接,而后者為不法分子提供了可趁之機(jī)。在這種攻擊場景中,攻擊者可能會向ChatGPT尋求常見任務(wù)方面的編程幫助,ChatGPT可能會為未發(fā)布或不存在的軟件包提供建議。研究人員表示,攻擊者隨后可以發(fā)布他們自己的建議軟件包的惡意版本,等待ChatGPT為合法開發(fā)人員提供相同的建議。
如何利用AI幻覺?
為了證明其概念,研究人員使用ChatGPT 3.5創(chuàng)建了一個場景,其中攻擊者向平臺詢問如何解決一個編程問題,ChatGPT給出了多個軟件包作為響應(yīng),其中一些軟件包不存在,即合法的軟件包代碼庫中并未發(fā)布。
當(dāng)攻擊者找到建議的未發(fā)布軟件包時,他們可以發(fā)布自己的惡意軟件包取而代之。下次用戶提出類似的問題時,他們可能會收到來自ChatGPT的建議,使用現(xiàn)已存在的這個惡意軟件包。
如果ChatGPT在偽造代碼包,攻擊者可以利用這種幻覺來傳播惡意代碼,而無需使用誤植域名或偽裝之類的熟悉技術(shù),從而創(chuàng)建開發(fā)人員可能會在ChatGPT建議的情況下使用所謂的“真實(shí)”代碼包。這樣一來,該惡意代碼可以伺機(jī)進(jìn)入到合法的應(yīng)用程序或合法代碼倉庫中,從而給軟件供應(yīng)鏈構(gòu)成重大風(fēng)險。
Lanyado表示,如果開發(fā)人員在編寫代碼時向ChatGPT這樣的生成式AI尋求幫助,可能最終會安裝惡意庫,因?yàn)锳I認(rèn)為該惡意庫是真實(shí)的,攻擊者可以讓它顯得很真實(shí)。狡猾的攻擊者甚至可以制作一個切實(shí)可行的庫,作為某種特洛伊木馬,最終可能被未意識到是惡意代碼的多個人所使用。
如何發(fā)覺不良代碼庫?
如果威脅分子有效地混淆了其編寫的代碼,或者使用另外的技術(shù)(比如制作一個切實(shí)可行的特洛伊木馬程序包),就很難判斷代碼包是不是惡意的。然而,一些方法可以及早發(fā)現(xiàn)不良代碼,以免被嵌入到應(yīng)用程序中或發(fā)布到代碼倉庫上。
為此,開發(fā)人員需要驗(yàn)證他們下載的庫,并確保庫不僅執(zhí)行它們聲稱所能執(zhí)行的功能,還不是偽裝成合法代碼包的狡猾的特洛伊木馬。當(dāng)建議來自AI而不是來自同事或社區(qū)中值得信任的人時,這一點(diǎn)尤為重要。
開發(fā)人員可以通過多種方式做到這一點(diǎn),比如檢查創(chuàng)建日期;查看下載和評論的數(shù)量,或者是否沒有評論和星;查看庫的任何附注。如果有任何可疑之處,在安裝之前請三思而后行。
ChatGPT的風(fēng)險與回報
這種攻擊場景只是ChatGPT可能帶來的一系列安全風(fēng)險中的最新一個。該技術(shù)自去年11月發(fā)布以來大行其道,不僅受到用戶的歡迎,還受到熱衷于利用它從事網(wǎng)絡(luò)攻擊和惡意活動的威脅分子的歡迎。
僅2023年上半年,就有騙子模仿ChatGPT竊取用戶業(yè)務(wù)憑據(jù)、攻擊者通過惡意ChatGPT擴(kuò)展來竊取Google Chrome cookie以及網(wǎng)絡(luò)釣魚威脅分子使用ChatGPT作為惡意網(wǎng)站的誘餌。
雖然一些專家認(rèn)為ChatGPT的安全風(fēng)險可能被夸大了,但風(fēng)險確實(shí)存在,因?yàn)槿藗円幌伦有廊唤邮苌墒紸I平臺來支持其專業(yè)工作,并減輕日常工作量的負(fù)擔(dān)。
Lanyado在博文中寫道,除非你過著與世隔絕的生活,否則會充分感受到生成式AI熱潮,數(shù)以百萬計的人在工作中積極采用ChatGPT。
開發(fā)人員也無法抵御ChatGPT的魅力,他們由向Stack Overflow等在線資源尋求編程解決方案,轉(zhuǎn)而向AI平臺尋求答案,這給攻擊者創(chuàng)造了大好機(jī)會。
正如歷史所證明,任何能夠迅速吸引堅定用戶群的新技術(shù)同樣會迅速吸引旨在利用它為自己謀取機(jī)會的不法分子。
參考及來源:https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks