本文來(lái)自微信公眾號(hào)“安全419”。
最近，網(wǎng)絡(luò)安全領(lǐng)域面臨著一個(gè)新的令人生畏的現(xiàn)實(shí)問(wèn)題——惡意生成式人工智能的興起，如FraudGPT和WormGPT。這些不法產(chǎn)品潛伏在互聯(lián)網(wǎng)的黑暗角落，對(duì)數(shù)字世界的安全構(gòu)成了獨(dú)特的威脅。本文將探討生成式人工智能欺詐的本質(zhì)，分析這些產(chǎn)品的信息傳播路徑，以及評(píng)估它們對(duì)網(wǎng)絡(luò)安全的潛在威脅。雖然保持警惕至關(guān)重要，但我們同樣需要避免恐慌泛濫。因?yàn)楸M管情況令人不安，但目前無(wú)須過(guò)分警惕。
認(rèn)識(shí)FraudGPT和WormGPT
FraudGPT代表了一種基于訂閱的惡意生成式人工智能，利用復(fù)雜的機(jī)器學(xué)習(xí)算法生成欺騙性內(nèi)容。它與合法的人工智能模型形成鮮明對(duì)比，F(xiàn)raudGPT沒(méi)有限制，使其成為實(shí)現(xiàn)多種惡意的多功能武器。它具備制作精心定制的魚叉式網(wǎng)絡(luò)釣魚電子郵件、偽造發(fā)票、捏造新聞文章等能力，所有這些都可以在網(wǎng)絡(luò)攻擊、網(wǎng)絡(luò)騙局、輿論操縱、甚至創(chuàng)建難以被檢測(cè)的惡意軟件和釣魚郵件的活動(dòng)中加以利用。
另一方面，WormGPT與FraudGPT在非法AI領(lǐng)域的應(yīng)用大致相同。雖然與ChatGPT的框架相似，但WormGPT的運(yùn)行缺乏法律保障。換言之，它可以為黑客攻擊和其他非法活動(dòng)提供技術(shù)支持。盡管與最新的人工智能模型相比，其能力可能有限，但它代表著惡意生成式人工智能的成長(zhǎng)軌跡。
虛假宣傳的GPT產(chǎn)品
那些開(kāi)發(fā)者和傳播者正緊鑼密鼓地推廣FraudGPT和WormGPT。他們稱這類工具為“網(wǎng)絡(luò)罪犯的入門工具包”。它提供了一套付費(fèi)訂閱的資源，進(jìn)一步降低了網(wǎng)絡(luò)犯罪的門檻。
仔細(xì)觀察可以發(fā)現(xiàn)，這些工具提供的信息并不比現(xiàn)有的生成式人工智能工具更多。其潛在原因可能是陳舊的模型架構(gòu)和不透明的訓(xùn)練數(shù)據(jù)。WormGPT的創(chuàng)作者聲稱他們的模型是使用各種數(shù)據(jù)源構(gòu)建的，特別側(cè)重于惡意軟件相關(guān)的數(shù)據(jù)。然而，他們卻不愿透露使用的具體數(shù)據(jù)集。
同樣，圍繞FraudGPT的推廣話術(shù)幾乎讓人很難相信語(yǔ)言模型（LM）的性能。在暗網(wǎng)的部分論壇上，F(xiàn)raudGPT的創(chuàng)作者將其宣傳為尖端技術(shù)，聲稱LLM不僅可以制造“無(wú)法檢測(cè)的惡意軟件”，還能識(shí)別出易受欺詐攻擊的網(wǎng)站。然而，除了它是GPT-3的變種的說(shuō)法之外，創(chuàng)作者幾乎沒(méi)有提供關(guān)于LLM架構(gòu)的任何信息，也沒(méi)有提供制作無(wú)法檢測(cè)的惡意軟件的證據(jù)，這為我們留下了很多猜測(cè)空間。
網(wǎng)絡(luò)罪犯將如何使用GPT工具
然而，惡意生成式人工智能的發(fā)展勢(shì)頭依舊難以阻擋。它們具有生成可信度較高的內(nèi)容的能力，這對(duì)各種非法活動(dòng)存在較強(qiáng)吸引力（從制作有說(shuō)服力的的網(wǎng)絡(luò)釣魚電子郵件到迫使受害者參與欺詐計(jì)劃，甚至生成惡意軟件等）。雖然存在用于對(duì)抗這些新型攻擊的安全工具和對(duì)策，但挑戰(zhàn)仍在不斷增加。
一些用于欺詐的生成式人工智能工具的潛在應(yīng)用包括：
增強(qiáng)型網(wǎng)絡(luò)釣魚活動(dòng)：這些工具可以自動(dòng)創(chuàng)建多語(yǔ)言的定制化網(wǎng)絡(luò)釣魚電子郵件（魚叉式網(wǎng)絡(luò)釣魚），從而提高成功的可能性。然而，它們是否能夠逃避高級(jí)電子郵件安全系統(tǒng)和接收方的謹(jǐn)慎檢測(cè)仍然存在疑問(wèn)；
加速的開(kāi)源情報(bào)（OSINT）收集：攻擊者可以使用這些工具加快其行動(dòng)的偵察進(jìn)程，搜集與目標(biāo)有關(guān)的信息，包括個(gè)人信息、偏好、行為和詳細(xì)的公司數(shù)據(jù)；
自動(dòng)化惡意軟件生成：生成式人工智能具有令人不安的潛力生成惡意代碼，簡(jiǎn)化了惡意軟件創(chuàng)建過(guò)程，這方便了技術(shù)知識(shí)有限的個(gè)人。然而，這些工具可以生成代碼，但生成的內(nèi)容可能仍然很基礎(chǔ)，需要額外的步驟才能成功進(jìn)行網(wǎng)絡(luò)攻擊。
生成式人工智能對(duì)威脅格局的武器化沖擊
FraudGPT、WormGPT等惡意生成式人工智能工具的出現(xiàn)在網(wǎng)絡(luò)安全界引起了高度警惕。未來(lái)可能面臨更復(fù)雜的網(wǎng)絡(luò)釣魚活動(dòng)和生成式人工智能攻擊數(shù)量的猛增。網(wǎng)絡(luò)犯罪分子會(huì)利用這些工具降低進(jìn)入網(wǎng)絡(luò)犯罪的門檻，吸引技術(shù)知識(shí)有限的同伙。
但是，面對(duì)這些威脅時(shí)保持冷靜非常重要。至少目前看來(lái)，F(xiàn)raudGPT和WormGPT并不代表網(wǎng)絡(luò)犯罪領(lǐng)域的規(guī)則改變。它們自身存在局限性、復(fù)雜程度低且未使用最先進(jìn)的人工智能模型，這意味著它們并非堅(jiān)不可摧。值得注意的是，盡管FraudGPT和WormGPT的有效性尚未得到驗(yàn)證，但社會(huì)工程和精確定向的魚叉式網(wǎng)絡(luò)釣魚已經(jīng)展示了它們的效用。然而，這些惡意人工智能工具為網(wǎng)絡(luò)犯罪分子提供了更多便利，使他們更容易制定此類網(wǎng)絡(luò)釣魚活動(dòng)。
隨著這些工具的不斷發(fā)展和普及，組織必須為其員工面臨下一波高度有針對(duì)性和個(gè)性化的攻擊做好準(zhǔn)備。
減少恐慌 充分準(zhǔn)備
以FraudGPT和WormGPT為代表的惡意生成式人工智能的出現(xiàn)，確實(shí)引起了網(wǎng)絡(luò)安全領(lǐng)域的擔(dān)憂。盡管這些工具提出了新的嚴(yán)峻挑戰(zhàn)，但它們并非不可戰(zhàn)勝。犯罪分子們剛剛接觸這些工具，而安全供應(yīng)商已經(jīng)研究了很長(zhǎng)時(shí)間，一些基于人工智能的安全解決方案可以高效地對(duì)抗人工智能生成的電子郵件威脅，如：
專門用于抵御社會(huì)工程攻擊，如商業(yè)電子郵件欺詐（BEC）、模仿和發(fā)票欺詐等的實(shí)時(shí)高級(jí)威脅保護(hù)；
自動(dòng)化的魚叉式網(wǎng)絡(luò)釣魚模擬測(cè)試，為員工提供個(gè)性化培訓(xùn)。
此外，了解生成式人工智能的發(fā)展以及使用這些技術(shù)的犯罪策略是至關(guān)重要的。保持警醒是減輕來(lái)自生成式人工智能在網(wǎng)絡(luò)犯罪中使用的潛在風(fēng)險(xiǎn)的關(guān)鍵。
