本文來自微信公眾號“嘶吼專業(yè)版”。
研究人員表明，有惡意分子可以濫用OpenAI的ChatGPT-4o的實時語音API來實施從低到中等成功率的金融詐騙。
ChatGPT-4o是OpenAI最新的AI模型，帶來了新的增強功能，例如集成文本、語音和視覺輸入和輸出。由于這些新功能，OpenAI集成了各種保護措施來檢測和阻止有害內容，例如復制未經授權的聲音。
基于語音詐騙涉及價值數百萬美元的問題，而深度偽造技術和人工智能驅動的文本轉語音工具的出現(xiàn)只會讓情況變得更糟。正如UIUC研究人員在他們的論文中所證明的那樣，目前不受限制地可用新技術工具沒有足夠的保護措施來防止網絡犯罪和欺詐者的潛在濫用。
這些工具可以通過覆蓋語音生成事件的代幣成本來設計和實施大規(guī)模詐騙操作，而無需人工干預。
研究結果
研究人員的論文探討了各種詐騙，例如銀行轉賬、禮品卡滲漏、加密貨幣轉賬以及社交媒體或Gmail帳戶的憑據竊取。
執(zhí)行詐騙的人工智能代理使用支持語音的ChatGPT-4o自動化工具來導航頁面、輸入數據并管理雙因素身份驗證代碼和特定的詐騙相關指令。
由于GPT-4o有時會拒絕處理憑據等敏感數據，因此研究人員使用簡單的提示越獄技術來繞過這些保護。
研究人員沒有展示真實的人，而是展示了他們如何與人工智能代理手動交互，模擬容易上當受騙的受害者的角色，使用美國銀行等真實網站來確認成功的交易。
將代理部署在常見詐騙的子集上。通過手動與語音代理交互來模擬詐騙，扮演輕信受害者的角色。為了確定是否成功，需手動確認最終狀態(tài)是否在真實的應用程序/網站上實現(xiàn)。例如，使用美國銀行進行銀行轉賬詐騙，并確認資金確實被轉移。
總體而言，成功率范圍為20-60%，每次嘗試最多需要26個瀏覽器操作，在最復雜的場景中持續(xù)長達3分鐘。
銀行轉賬和冒充國稅局代理，大多數失敗是由轉錄錯誤或復雜的網站導航要求引起的。然而，Gmail的憑據盜竊成功率為60%，而Instagram的加密傳輸和憑據盜竊只有40%的成功率。
至于成本，研究人員指出，實施這些騙局的成本相對較低，每個成功案例的平均成本為0.75美元。銀行轉賬詐騙更為復雜，費用為2.51美元。盡管明顯較高，但與此類騙局的潛在利潤相比，這仍然非常低。
詐騙類型和成功率
OpenAI的回應
OpenAI告訴媒體，其最新模型o1（目前處于預覽版）支持“高級推理”，可以更好地防御此類濫用。
OpenAI發(fā)言人表示：“我們不斷地讓ChatGPT能夠更好地阻止故意欺騙它的嘗試，同時又不會失去其有用性或創(chuàng)造力。最新的o1推理模型是我們迄今為止最有能力、最安全的模型，在抵制故意生成不安全內容的嘗試方面明顯優(yōu)于以前的模型。”
OpenAI還指出，UIUC的此類論文幫助他們使ChatGPT更好地阻止惡意使用，并且他們始終研究的是如何提高其穩(wěn)健性。
目前，GPT-4o已經納入了許多防止濫用的措施，包括將語音生成限制為一組預先批準的語音，以防止冒充。
根據OpenAI的越獄安全評估，o1-preview的得分明顯更高，該評估衡量模型在應對對抗性提示時抵抗生成不安全內容的能力，得分為84%，而GPT-4o得分為22%。當使用一組新的、更嚴格的安全評估進行測試時，o1-preview分數明顯更高，分別為93%和GPT-4o的71%。
威脅者使用其他限制較少的語音聊天機器人的風險仍然存在，此類研究正凸顯了這些新工具可能造成的巨大損害。
參考及來源：https://www.bleepingcomputer.com/news/security/chatgpt-4o-can-be-used-for-autonomous-voice-based-scams/
