案例摘要:
當(dāng)前AI換臉是高科技詐騙的新方向,詐騙分子通過(guò)AIGC合成人臉,偽裝成熟人通過(guò)視頻通話(huà)軟件進(jìn)行詐騙的案例時(shí)有發(fā)生,給人民群眾造成了巨大的經(jīng)濟(jì)損失。
在防止電信網(wǎng)絡(luò)詐騙領(lǐng)域,榮耀一直積極接受?chē)?guó)家監(jiān)管機(jī)構(gòu)指導(dǎo),并持續(xù)投入,探索電信網(wǎng)絡(luò)詐騙一體化技防新手段。針對(duì)此種新出現(xiàn)的詐騙方式,我司針對(duì)此類(lèi)詐騙的特殊形式,結(jié)合榮耀端側(cè)AI能力,為用戶(hù)提供實(shí)時(shí)檢測(cè)能力,即在消費(fèi)者使用視頻通話(huà)功能時(shí),對(duì)視頻中的人臉進(jìn)行檢測(cè),判斷其是否為通過(guò)AI偽裝合成,并通過(guò)彈框向用戶(hù)實(shí)時(shí)提示風(fēng)險(xiǎn)。該解決方案能幫助消費(fèi)者有效的防范新形態(tài)的詐騙風(fēng)險(xiǎn),保護(hù)消費(fèi)者利益。
實(shí)施背景:
隨著科技的發(fā)展和技術(shù)的進(jìn)步,人工智能作為一項(xiàng)重要的新技術(shù),正在不斷地推動(dòng)產(chǎn)業(yè)的發(fā)展與革命,而與此同時(shí)也帶來(lái)了諸多新的風(fēng)險(xiǎn)與挑戰(zhàn),如數(shù)據(jù)偏見(jiàn)與歧視、用戶(hù)隱私保護(hù)與數(shù)據(jù)安全等。為了應(yīng)對(duì)這些隱私安全的挑戰(zhàn),榮耀自創(chuàng)立之初就提出“科技有道,隱私至上”的理念,始終堅(jiān)持隱私是用戶(hù)的基本權(quán)利,并構(gòu)建自身完備的全球隱私保護(hù)管理體系,形成總體政策、規(guī)則要求以及基線,并將這些要求貫穿于業(yè)務(wù)的始終。
近年來(lái)AI換臉等技術(shù)已被廣泛利用于詐騙和誹謗,導(dǎo)致社會(huì)信任度下降,成為一項(xiàng)亟需解決的社會(huì)性問(wèn)題,基于此,榮耀通過(guò)對(duì)用戶(hù)需求及產(chǎn)業(yè)趨勢(shì)的洞察,推出智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)來(lái)保護(hù)用戶(hù)財(cái)產(chǎn)及名譽(yù)不受損失,為消費(fèi)者構(gòu)建可信賴(lài)的數(shù)字生活。
實(shí)施目標(biāo):
隨著AI技術(shù)的發(fā)展,AI技術(shù)在給人們的工作生活帶來(lái)便利的同時(shí),也帶來(lái)了一些濫用AI技術(shù)導(dǎo)致的負(fù)面事件,其中,利用AI技術(shù)實(shí)施詐騙的案例也日益增多。
從2023年至今,多家權(quán)威媒體分別報(bào)道了多起不法分子利用AI技術(shù)融合他人面孔和聲音,制造非常逼真的合成圖像來(lái)實(shí)施新型網(wǎng)絡(luò)詐騙的案例。詐騙金額從幾千到幾百萬(wàn)元不等,公安部數(shù)據(jù)顯示,近兩年來(lái),全國(guó)共發(fā)生“AI換臉”類(lèi)詐騙案近百起,累計(jì)給人民群眾造成經(jīng)濟(jì)損失高達(dá)2億元。
“AI換臉”類(lèi)詐騙案件逐漸增多,如何保護(hù)廣大人民群眾免于遭受此類(lèi)詐騙風(fēng)險(xiǎn),財(cái)產(chǎn)安全不被侵犯,是近幾年監(jiān)管一直高度重視的問(wèn)題。工信部、公安部、反詐專(zhuān)班等多次組織各運(yùn)營(yíng)商、設(shè)備廠商和互聯(lián)網(wǎng)廠商召開(kāi)會(huì)議,討論和部署反詐工作。其中就專(zhuān)門(mén)提到:對(duì)于已經(jīng)運(yùn)營(yíng)的即時(shí)通訊、視頻會(huì)議、視頻通信等業(yè)務(wù)要規(guī)范業(yè)務(wù)流程、堵塞安全漏洞;持續(xù)加強(qiáng)設(shè)備安全防護(hù),強(qiáng)化反詐功能。
榮耀希望通過(guò)“智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)”的推出,來(lái)作為監(jiān)管、行業(yè)、用戶(hù)所關(guān)心的“AI換臉”詐騙問(wèn)題的專(zhuān)項(xiàng)解決方案,并通過(guò)該技術(shù)在一定程度上降低這一新型詐騙方式對(duì)于人民群眾帶來(lái)的風(fēng)險(xiǎn)和損害。同時(shí),我們也希望該項(xiàng)技術(shù)的推出,為整個(gè)行業(yè)尋求一條反詐新思路。
建設(shè)內(nèi)容:
根據(jù)調(diào)研和分析,我們首先針對(duì)目前發(fā)生率較高的典型AI換臉詐騙場(chǎng)景進(jìn)行了總結(jié),并對(duì)其主要詐騙的觸發(fā)手段和監(jiān)測(cè)特征進(jìn)行歸納。當(dāng)前利用AI換臉詐騙的典型的詐騙旅程如下:
1)詐騙分子通過(guò)各種app獲取用戶(hù)的個(gè)人信息,如用戶(hù)的人臉(如社交軟件頭像、朋友圈、社交媒體發(fā)布的個(gè)人照片),電商出行app暴露的個(gè)人電話(huà)、地址或消費(fèi)習(xí)慣等;
2)詐騙分子通過(guò)黑產(chǎn)大數(shù)據(jù)鎖定詐騙對(duì)象,如是否是“有錢(qián)人“,好友/親屬關(guān)系(社交軟件聯(lián)系人列表、通信錄);
3)通過(guò)冒充熟人添加好友,或盜號(hào)冒充好友,與受詐人建立聯(lián)系;
4)在聯(lián)系過(guò)程中,在視頻通話(huà)中通過(guò)AI預(yù)先合成視頻或者實(shí)時(shí)換臉的方式確認(rèn)朋友身份,取得受詐人信任;
5)建立信任后,再以各種理由,采取不同的劇本實(shí)施詐騙。
針對(duì)于目前需要解決的實(shí)時(shí)視頻通話(huà)場(chǎng)景中的人臉?lè)旅斑@一特殊場(chǎng)景,我們對(duì)其實(shí)施AI人臉詐騙的流程進(jìn)行了分析,并針對(duì)其詐騙流程的特點(diǎn)展開(kāi)針對(duì)性的檢測(cè)和反詐提醒。
在此流程中,詐騙分子主要是通過(guò)AI深度合成技術(shù)將其人臉和聲音進(jìn)行偽造,再通過(guò)侵入到三方/運(yùn)營(yíng)商的視頻通話(huà)應(yīng)用中進(jìn)行濫用,從而冒充熟人實(shí)施詐騙。而此流程的薄弱點(diǎn)則在于被詐騙用戶(hù)端的視頻流的分析和檢測(cè),可以作為整個(gè)流程的切入點(diǎn)。
本功能是針對(duì)用戶(hù)可能涉及到詐騙時(shí)整個(gè)詐騙旅程,進(jìn)行特征分析和提取,形成有效的專(zhuān)家?guī)?,從而提升詐騙檢測(cè)的檢出率,具體包括:
a.感知:通過(guò)特征采集和檢測(cè),識(shí)別出詐騙旅程的關(guān)鍵特征(如疑似詐騙電話(huà)/短信/網(wǎng)址,下載疑似詐騙應(yīng)用、設(shè)置屏幕共享、拉起支付App等),以及易受詐用戶(hù)的畫(huà)像;
b.識(shí)別:通過(guò)靜態(tài)和動(dòng)態(tài)模型,識(shí)別用戶(hù)受詐風(fēng)險(xiǎn)(并識(shí)別高中低等級(jí));
c.根據(jù)風(fēng)險(xiǎn),采取不同的處置方式(如提示用戶(hù)、阻斷支付、通知緊急聯(lián)系人等)。
而針對(duì)以上反詐檢測(cè)流程,核心點(diǎn)在于對(duì)受害者手機(jī)中的視頻通話(huà)進(jìn)行合成偽造檢測(cè)。榮耀在功能設(shè)計(jì)時(shí)首先針對(duì)當(dāng)前主流的AIGC換臉?biāo)惴ǎ╒AE/GAN),提供檢測(cè)功能,再依賴(lài)榮耀豐富的端側(cè)AI能力構(gòu)建經(jīng)驗(yàn),在兼顧隱私和性能的同時(shí),將AIGC換臉檢測(cè)能力部署在手機(jī)端側(cè)。
VAE(變分自動(dòng)編碼器,通過(guò)學(xué)習(xí)數(shù)據(jù)的概率分布生成新的數(shù)據(jù)樣本)和GAN(生成對(duì)抗網(wǎng)絡(luò),由生成器和判別器兩部分組成,生成器用于生成類(lèi)似真實(shí)圖片的假數(shù)據(jù),而判別器用于區(qū)分生成器生成的數(shù)據(jù)真假;GAN通過(guò)生成器和判別器之間的對(duì)抗訓(xùn)練,生成高質(zhì)量的圖像)都是基于深度學(xué)習(xí)的兩種常見(jiàn)的生成模型,當(dāng)前被廣泛用于圖像生成領(lǐng)域。針對(duì)這兩種深度合成的人臉偽造方式,榮耀從其生成結(jié)果入手,進(jìn)行了大量的研究和試驗(yàn),使用大量生成圖片進(jìn)行檢測(cè)模型訓(xùn)練,并針對(duì)VAE和GAN生成圖片提出了空間檢測(cè)、頻域檢測(cè)、生物信號(hào)檢測(cè)三種檢測(cè)方案。最終經(jīng)過(guò)大量的論證和測(cè)試,才得以形成目前的成果并投入使用。
此外,AIGC人臉合成反詐檢測(cè)技術(shù)還利用端側(cè)AI模型進(jìn)行識(shí)別,可確保數(shù)據(jù)在端側(cè)生成和推理,不上云,從而保護(hù)用戶(hù)數(shù)據(jù)隱私;而榮耀在手機(jī)終端算力資源受限、檢測(cè)時(shí)長(zhǎng)要求苛刻的條件下,通過(guò)構(gòu)建AI檢測(cè)模型,進(jìn)行了大量的樣本訓(xùn)練,最終實(shí)現(xiàn)了能有效檢測(cè)VAE/GAN人臉偽造的算法能力,能在不影響用戶(hù)體驗(yàn)(性能、功耗和檢測(cè)時(shí)延都可控)的情況下及時(shí)完成對(duì)視頻中人臉的檢測(cè),并結(jié)合全鏈路反詐識(shí)別能力,為消費(fèi)者防止AIGC視頻詐騙提供有效的技術(shù)手段。
同時(shí),我們也設(shè)計(jì)了詳細(xì)的隱私方案,確保用戶(hù)對(duì)于本技術(shù)的可知可控。在用戶(hù)使用AI換臉檢測(cè)功能前,通過(guò)通知膠囊等方式對(duì)用戶(hù)進(jìn)行告知明示,引導(dǎo)用戶(hù)了解功能介紹,同時(shí)設(shè)置單獨(dú)的功能開(kāi)關(guān),由用戶(hù)主動(dòng)控制是否開(kāi)啟;在檢測(cè)時(shí),僅對(duì)觸發(fā)特定涉詐條件的視頻通話(huà)進(jìn)行檢測(cè),確保數(shù)據(jù)收集最小化,并同時(shí)在檢測(cè)時(shí)通過(guò)通知膠囊等方式實(shí)時(shí)提示用戶(hù);在檢測(cè)完成后,若觸發(fā)高風(fēng)險(xiǎn),通過(guò)彈窗對(duì)用戶(hù)進(jìn)行告知,告知用戶(hù)可能涉及AI換臉詐騙,并由用戶(hù)決定是否錄屏保存證據(jù)等。
實(shí)施效果:
榮耀智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)是榮耀端側(cè)AI能力建設(shè)的重要一環(huán),也是榮耀持續(xù)創(chuàng)新安全工程能力的又一重大突破。在前期咨詢(xún)?cè)L談和用戶(hù)調(diào)研階段,我司了解到AI人臉合成識(shí)別、AI反詐類(lèi)需求是近年來(lái)用戶(hù)和監(jiān)管機(jī)構(gòu)均關(guān)注的重點(diǎn),在解決方案構(gòu)建完成后,第一時(shí)間便向公眾公布了這一好消息,得到了業(yè)界的一致好評(píng)。
2024年6月26日,在上海世界移動(dòng)通信大會(huì)(2024MWC上海)上,榮耀向全球用戶(hù)展示了這一手機(jī)行業(yè)首個(gè)端側(cè)AI反詐檢測(cè)技術(shù),這一解決方案的發(fā)布,引起了全球媒體的廣泛關(guān)注,在MWC上發(fā)布之后,有近百家媒體對(duì)榮耀AIGC人臉合成反詐檢測(cè)技術(shù)進(jìn)行了報(bào)道,并頗具好評(píng);隨后,在9月舉行的柏林國(guó)際電子消費(fèi)品展覽會(huì)(IFA)上,榮耀AI安全及AI反詐檢測(cè)技術(shù)的亮相再次引發(fā)全球熱議。