本文來自微信公眾號“網(wǎng)絡(luò)研究院”。
研究人員發(fā)現(xiàn)，攻擊者可以利用ChatGPT返回虛假信息的傾向來傳播惡意代碼包。
這對軟件供應鏈構(gòu)成了重大風險，因為它可能允許惡意代碼和特洛伊木馬程序滑入合法應用程序和代碼存儲庫，如npm、PyPI、GitHub等。
研究人員通過利用所謂的“AI包幻覺”，威脅行為者可以創(chuàng)建ChatGPT推薦的惡意代碼包，開發(fā)人員在使用聊天機器人時可能會無意中下載這些代碼包，將它們構(gòu)建到隨后被廣泛使用的軟件中。
在人工智能中，幻覺是人工智能做出的不充分、有偏見或完全不正確的合理反應。
它們的出現(xiàn)是因為ChatGPT（以及作為生成式AI平臺基礎(chǔ)的其他大型語言模型或LLM）根據(jù)他們在廣闊的互聯(lián)網(wǎng)上可用的資源、鏈接、博客和統(tǒng)計數(shù)據(jù)來回答向他們提出的問題，這些是并不總是最可靠的訓練數(shù)據(jù)。
由于這種廣泛的培訓和接觸大量文本數(shù)據(jù)，像ChatGPT這樣的LLM可以生成“看似合理但虛構(gòu)的信息，在他們的培訓之外進行推斷，并可能產(chǎn)生看似合理但不一定準確的響應，這是一種以前觀察到的現(xiàn)象，似乎是大型語言模型工作方式的結(jié)果。
在開發(fā)者世界中，AI還會為CVE生成有問題的修復程序，并提供指向不存在的編碼庫的鏈接，后者提供了利用的機會。
在這種攻擊場景中，攻擊者可能會向ChatGPT尋求常見任務(wù)的編碼幫助；ChatGPT可能會為未發(fā)布或不存在的軟件包提供建議。
攻擊者可以發(fā)布他們自己的建議包的惡意版本，并等待ChatGPT為合法開發(fā)人員提供相同的建議。
如何利用AI幻覺
為了證明他們的概念，研究人員使用ChatGPT 3.5創(chuàng)建了一個場景，其中攻擊者向平臺詢問解決編碼問題的問題，而ChatGPT以多個包進行響應，其中一些不存在，即未以合法方式發(fā)布包存儲庫。
當攻擊者找到未發(fā)布包的推薦時，他們可以在其位置發(fā)布自己的惡意包。下次用戶問類似的問題時，他們可能會收到來自ChatGPT的建議，使用現(xiàn)在存在的惡意包。
如果ChatGPT正在偽造代碼包，攻擊者可以利用這些幻覺來傳播惡意代碼，而無需使用域名仿冒或偽裝等熟悉的技術(shù)，從而創(chuàng)建開發(fā)人員可能會在ChatGPT推薦的情況下使用的“真實”包。
通過這種方式，惡意代碼可以找到進入合法應用程序或合法代碼存儲庫的途徑，從而給軟件供應鏈帶來重大風險。
向ChatGPT這樣的生成式人工智能尋求代碼幫助的開發(fā)人員可能會安裝惡意庫，因為人工智能認為它是真實的，而攻擊者將其變?yōu)楝F(xiàn)實。
一個聰明的攻擊者甚至可能制作一個工作庫，作為一種特洛伊木馬，在他們意識到它是惡意的之前可能會被多人使用。”
如何發(fā)現(xiàn)錯誤的代碼庫
如果威脅行為者有效地混淆了他們的工作，或者使用其他技術(shù)（例如制作一個實際可用的特洛伊木馬程序包），則很難判斷一個程序包是否是惡意的。
但是，有一些方法可以在將錯誤代碼嵌入到應用程序或發(fā)布到代碼存儲庫之前將其捕獲。
為此，開發(fā)人員需要驗證他們下載的庫，并確保他們不僅按照他們所說的去做，而且不是一個聰明的木馬偽裝成合法的包。
當推薦來自人工智能而不是同事或他們在社區(qū)中信任的人時，這一點尤為重要。
開發(fā)人員可以通過多種方式做到這一點，例如檢查創(chuàng)建日期；下載和評論的數(shù)量，或缺乏評論和明星；看看任何附注。
如果有任何東西看起來可疑，請在安裝之前三思而后行。
ChatGPT:風險與回報
這種攻擊場景只是ChatGPT可能帶來的一系列安全風險中的最新一個。
該技術(shù)自去年11月發(fā)布以來迅速流行起來，不僅受到用戶的歡迎，還受到熱衷于利用它進行網(wǎng)絡(luò)攻擊和惡意活動的威脅行為者的歡迎。
僅2023年上半年，就有詐騙者模仿ChatGPT竊取用戶業(yè)務(wù)憑據(jù)；攻擊者通過惡意ChatGPT擴展竊取Google Chrome cookie；和網(wǎng)絡(luò)釣魚威脅行為者使用ChatGPT作為惡意網(wǎng)站的誘餌。
雖然一些專家認為ChatGPT的安全風險可能被夸大了，但它確實存在，因為人們很快就接受了生成人工智能平臺來支持他們的專業(yè)活動并減輕日常工作量的負擔。
除非你生活在巖石下，否則你會很清楚生成人工智能的熱潮，數(shù)以百萬計的人在工作中擁抱ChatGPT。
開發(fā)人員也不能幸免于ChatGPT的魅力，他們從Stack Overflow等在線資源尋求編碼解決方案，轉(zhuǎn)向AI平臺尋求答案，這為攻擊者創(chuàng)造了重大機會。
正如歷史所證明的那樣，任何能夠迅速吸引堅實用戶群的新技術(shù)也會迅速吸引旨在利用它為自己謀取機會的不良行為者。
ChatGPT提供了這種情況的實時示例。
