本文來自微信公眾號“嘶吼專業(yè)版”，作者/布加迪。
研究人員近日發(fā)現(xiàn)，攻擊者可以利用ChatGPT往往返回虛假信息的習(xí)性來傳播惡意代碼包。
這對軟件供應(yīng)鏈構(gòu)成了重大風(fēng)險，因?yàn)樗赡茉试S惡意代碼和特洛伊木馬溜入到合法的應(yīng)用程序和代碼倉庫中，比如npm、PyPI和GitHub等。
Vulcan Cyber公司oyager18研究團(tuán)隊(duì)的研究人員在近日發(fā)布的一篇博文中披露，通過利用所謂的“AI代碼包幻覺”，威脅分子就可以創(chuàng)建ChatGPT建議的惡意代碼包，而開發(fā)人員在使用這種聊天機(jī)器人時可能會無意中下載這些代碼包，從而將它們引入到隨后被廣泛使用的軟件中。
在人工智能領(lǐng)域，幻覺是人工智能做出的一種貌似合理的響應(yīng)，而實(shí)際上不充分、有偏誤或完全不正確。之所以會出現(xiàn)幻覺，是由于ChatGPT（以及作為生成式AI平臺基礎(chǔ)的其他大型語言模型即LLM）基于它們在龐大互聯(lián)網(wǎng)上能找到的資源、鏈接、博客和統(tǒng)計數(shù)據(jù)，來回答向它們提出的問題，但這些內(nèi)容并不總是最可靠的訓(xùn)練數(shù)據(jù)。
Voyager18的首席研究人員Bar Lanyado在博文中寫道，由于這種廣泛的訓(xùn)練和接觸大量文本數(shù)據(jù)，ChatGPT之類的LLM會生成“看似合理但實(shí)則虛假的信息，可能生成看似合理但不一定準(zhǔn)確的響應(yīng)，這是一種以前就已觀察到的現(xiàn)象，似乎歸因于大型語言模型的工作方式。”
他在博文中解釋，在開發(fā)者領(lǐng)域，AI還會針對CVE生成有問題的修復(fù)程序，并提供指向不存在的編程庫的鏈接，而后者為不法分子提供了可趁之機(jī)。在這種攻擊場景中，攻擊者可能會向ChatGPT尋求常見任務(wù)方面的編程幫助，ChatGPT可能會為未發(fā)布或不存在的軟件包提供建議。研究人員表示，攻擊者隨后可以發(fā)布他們自己的建議軟件包的惡意版本，等待ChatGPT為合法開發(fā)人員提供相同的建議。
如何利用AI幻覺？
為了證明其概念，研究人員使用ChatGPT 3.5創(chuàng)建了一個場景，其中攻擊者向平臺詢問如何解決一個編程問題，ChatGPT給出了多個軟件包作為響應(yīng)，其中一些軟件包不存在，即合法的軟件包代碼庫中并未發(fā)布。
當(dāng)攻擊者找到建議的未發(fā)布軟件包時，他們可以發(fā)布自己的惡意軟件包取而代之。下次用戶提出類似的問題時，他們可能會收到來自ChatGPT的建議，使用現(xiàn)已存在的這個惡意軟件包。
如果ChatGPT在偽造代碼包，攻擊者可以利用這種幻覺來傳播惡意代碼，而無需使用誤植域名或偽裝之類的熟悉技術(shù)，從而創(chuàng)建開發(fā)人員可能會在ChatGPT建議的情況下使用所謂的“真實(shí)”代碼包。這樣一來，該惡意代碼可以伺機(jī)進(jìn)入到合法的應(yīng)用程序或合法代碼倉庫中，從而給軟件供應(yīng)鏈構(gòu)成重大風(fēng)險。
Lanyado表示，如果開發(fā)人員在編寫代碼時向ChatGPT這樣的生成式AI尋求幫助，可能最終會安裝惡意庫，因?yàn)锳I認(rèn)為該惡意庫是真實(shí)的，攻擊者可以讓它顯得很真實(shí)。狡猾的攻擊者甚至可以制作一個切實(shí)可行的庫，作為某種特洛伊木馬，最終可能被未意識到是惡意代碼的多個人所使用。
如何發(fā)覺不良代碼庫？
如果威脅分子有效地混淆了其編寫的代碼，或者使用另外的技術(shù)（比如制作一個切實(shí)可行的特洛伊木馬程序包），就很難判斷代碼包是不是惡意的。然而，一些方法可以及早發(fā)現(xiàn)不良代碼，以免被嵌入到應(yīng)用程序中或發(fā)布到代碼倉庫上。
為此，開發(fā)人員需要驗(yàn)證他們下載的庫，并確保庫不僅執(zhí)行它們聲稱所能執(zhí)行的功能，還不是偽裝成合法代碼包的狡猾的特洛伊木馬。當(dāng)建議來自AI而不是來自同事或社區(qū)中值得信任的人時，這一點(diǎn)尤為重要。
開發(fā)人員可以通過多種方式做到這一點(diǎn)，比如檢查創(chuàng)建日期；查看下載和評論的數(shù)量，或者是否沒有評論和星；查看庫的任何附注。如果有任何可疑之處，在安裝之前請三思而后行。
ChatGPT的風(fēng)險與回報
這種攻擊場景只是ChatGPT可能帶來的一系列安全風(fēng)險中的最新一個。該技術(shù)自去年11月發(fā)布以來大行其道，不僅受到用戶的歡迎，還受到熱衷于利用它從事網(wǎng)絡(luò)攻擊和惡意活動的威脅分子的歡迎。
僅2023年上半年，就有騙子模仿ChatGPT竊取用戶業(yè)務(wù)憑據(jù)、攻擊者通過惡意ChatGPT擴(kuò)展來竊取Google Chrome cookie以及網(wǎng)絡(luò)釣魚威脅分子使用ChatGPT作為惡意網(wǎng)站的誘餌。
雖然一些專家認(rèn)為ChatGPT的安全風(fēng)險可能被夸大了，但風(fēng)險確實(shí)存在，因?yàn)槿藗円幌伦有廊唤邮苌墒紸I平臺來支持其專業(yè)工作，并減輕日常工作量的負(fù)擔(dān)。
Lanyado在博文中寫道，除非你過著與世隔絕的生活，否則會充分感受到生成式AI熱潮，數(shù)以百萬計的人在工作中積極采用ChatGPT。
開發(fā)人員也無法抵御ChatGPT的魅力，他們由向Stack Overflow等在線資源尋求編程解決方案，轉(zhuǎn)而向AI平臺尋求答案，這給攻擊者創(chuàng)造了大好機(jī)會。
正如歷史所證明，任何能夠迅速吸引堅定用戶群的新技術(shù)同樣會迅速吸引旨在利用它為自己謀取機(jī)會的不法分子。
參考及來源：https://www.darkreading.com/application-security/chatgpt-hallucinations-developers-supply-chain-malware-attacks
