案例摘要：
當(dāng)前AI換臉是高科技詐騙的新方向，詐騙分子通過(guò)AIGC合成人臉，偽裝成熟人通過(guò)視頻通話(huà)軟件進(jìn)行詐騙的案例時(shí)有發(fā)生，給人民群眾造成了巨大的經(jīng)濟(jì)損失。
在防止電信網(wǎng)絡(luò)詐騙領(lǐng)域，榮耀一直積極接受?chē)?guó)家監(jiān)管機(jī)構(gòu)指導(dǎo)，并持續(xù)投入，探索電信網(wǎng)絡(luò)詐騙一體化技防新手段。針對(duì)此種新出現(xiàn)的詐騙方式，我司針對(duì)此類(lèi)詐騙的特殊形式，結(jié)合榮耀端側(cè)AI能力，為用戶(hù)提供實(shí)時(shí)檢測(cè)能力，即在消費(fèi)者使用視頻通話(huà)功能時(shí)，對(duì)視頻中的人臉進(jìn)行檢測(cè)，判斷其是否為通過(guò)AI偽裝合成，并通過(guò)彈框向用戶(hù)實(shí)時(shí)提示風(fēng)險(xiǎn)。該解決方案能幫助消費(fèi)者有效的防范新形態(tài)的詐騙風(fēng)險(xiǎn)，保護(hù)消費(fèi)者利益。
實(shí)施背景：
隨著科技的發(fā)展和技術(shù)的進(jìn)步，人工智能作為一項(xiàng)重要的新技術(shù)，正在不斷地推動(dòng)產(chǎn)業(yè)的發(fā)展與革命，而與此同時(shí)也帶來(lái)了諸多新的風(fēng)險(xiǎn)與挑戰(zhàn)，如數(shù)據(jù)偏見(jiàn)與歧視、用戶(hù)隱私保護(hù)與數(shù)據(jù)安全等。為了應(yīng)對(duì)這些隱私安全的挑戰(zhàn)，榮耀自創(chuàng)立之初就提出“科技有道，隱私至上”的理念，始終堅(jiān)持隱私是用戶(hù)的基本權(quán)利，并構(gòu)建自身完備的全球隱私保護(hù)管理體系，形成總體政策、規(guī)則要求以及基線，并將這些要求貫穿于業(yè)務(wù)的始終。
近年來(lái)AI換臉等技術(shù)已被廣泛利用于詐騙和誹謗，導(dǎo)致社會(huì)信任度下降，成為一項(xiàng)亟需解決的社會(huì)性問(wèn)題，基于此，榮耀通過(guò)對(duì)用戶(hù)需求及產(chǎn)業(yè)趨勢(shì)的洞察，推出智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)來(lái)保護(hù)用戶(hù)財(cái)產(chǎn)及名譽(yù)不受損失，為消費(fèi)者構(gòu)建可信賴(lài)的數(shù)字生活。
實(shí)施目標(biāo)：
隨著AI技術(shù)的發(fā)展，AI技術(shù)在給人們的工作生活帶來(lái)便利的同時(shí)，也帶來(lái)了一些濫用AI技術(shù)導(dǎo)致的負(fù)面事件，其中，利用AI技術(shù)實(shí)施詐騙的案例也日益增多。
從2023年至今，多家權(quán)威媒體分別報(bào)道了多起不法分子利用AI技術(shù)融合他人面孔和聲音，制造非常逼真的合成圖像來(lái)實(shí)施新型網(wǎng)絡(luò)詐騙的案例。詐騙金額從幾千到幾百萬(wàn)元不等，公安部數(shù)據(jù)顯示，近兩年來(lái)，全國(guó)共發(fā)生“AI換臉”類(lèi)詐騙案近百起，累計(jì)給人民群眾造成經(jīng)濟(jì)損失高達(dá)2億元。
“AI換臉”類(lèi)詐騙案件逐漸增多，如何保護(hù)廣大人民群眾免于遭受此類(lèi)詐騙風(fēng)險(xiǎn)，財(cái)產(chǎn)安全不被侵犯，是近幾年監(jiān)管一直高度重視的問(wèn)題。工信部、公安部、反詐專(zhuān)班等多次組織各運(yùn)營(yíng)商、設(shè)備廠商和互聯(lián)網(wǎng)廠商召開(kāi)會(huì)議，討論和部署反詐工作。其中就專(zhuān)門(mén)提到：對(duì)于已經(jīng)運(yùn)營(yíng)的即時(shí)通訊、視頻會(huì)議、視頻通信等業(yè)務(wù)要規(guī)范業(yè)務(wù)流程、堵塞安全漏洞；持續(xù)加強(qiáng)設(shè)備安全防護(hù)，強(qiáng)化反詐功能。
榮耀希望通過(guò)“智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)”的推出，來(lái)作為監(jiān)管、行業(yè)、用戶(hù)所關(guān)心的“AI換臉”詐騙問(wèn)題的專(zhuān)項(xiàng)解決方案，并通過(guò)該技術(shù)在一定程度上降低這一新型詐騙方式對(duì)于人民群眾帶來(lái)的風(fēng)險(xiǎn)和損害。同時(shí)，我們也希望該項(xiàng)技術(shù)的推出，為整個(gè)行業(yè)尋求一條反詐新思路。
建設(shè)內(nèi)容：
根據(jù)調(diào)研和分析，我們首先針對(duì)目前發(fā)生率較高的典型AI換臉詐騙場(chǎng)景進(jìn)行了總結(jié)，并對(duì)其主要詐騙的觸發(fā)手段和監(jiān)測(cè)特征進(jìn)行歸納。當(dāng)前利用AI換臉詐騙的典型的詐騙旅程如下：
1）詐騙分子通過(guò)各種app獲取用戶(hù)的個(gè)人信息，如用戶(hù)的人臉（如社交軟件頭像、朋友圈、社交媒體發(fā)布的個(gè)人照片），電商出行app暴露的個(gè)人電話(huà)、地址或消費(fèi)習(xí)慣等；
2）詐騙分子通過(guò)黑產(chǎn)大數(shù)據(jù)鎖定詐騙對(duì)象，如是否是“有錢(qián)人“，好友/親屬關(guān)系（社交軟件聯(lián)系人列表、通信錄）；
3）通過(guò)冒充熟人添加好友，或盜號(hào)冒充好友，與受詐人建立聯(lián)系；
4）在聯(lián)系過(guò)程中，在視頻通話(huà)中通過(guò)AI預(yù)先合成視頻或者實(shí)時(shí)換臉的方式確認(rèn)朋友身份，取得受詐人信任；
5）建立信任后，再以各種理由，采取不同的劇本實(shí)施詐騙。
針對(duì)于目前需要解決的實(shí)時(shí)視頻通話(huà)場(chǎng)景中的人臉?lè)旅斑@一特殊場(chǎng)景，我們對(duì)其實(shí)施AI人臉詐騙的流程進(jìn)行了分析，并針對(duì)其詐騙流程的特點(diǎn)展開(kāi)針對(duì)性的檢測(cè)和反詐提醒。
在此流程中，詐騙分子主要是通過(guò)AI深度合成技術(shù)將其人臉和聲音進(jìn)行偽造，再通過(guò)侵入到三方/運(yùn)營(yíng)商的視頻通話(huà)應(yīng)用中進(jìn)行濫用，從而冒充熟人實(shí)施詐騙。而此流程的薄弱點(diǎn)則在于被詐騙用戶(hù)端的視頻流的分析和檢測(cè)，可以作為整個(gè)流程的切入點(diǎn)。
本功能是針對(duì)用戶(hù)可能涉及到詐騙時(shí)整個(gè)詐騙旅程，進(jìn)行特征分析和提取，形成有效的專(zhuān)家?guī)?，從而提升詐騙檢測(cè)的檢出率，具體包括：
a.感知：通過(guò)特征采集和檢測(cè)，識(shí)別出詐騙旅程的關(guān)鍵特征（如疑似詐騙電話(huà)/短信/網(wǎng)址，下載疑似詐騙應(yīng)用、設(shè)置屏幕共享、拉起支付App等），以及易受詐用戶(hù)的畫(huà)像；
b.識(shí)別：通過(guò)靜態(tài)和動(dòng)態(tài)模型，識(shí)別用戶(hù)受詐風(fēng)險(xiǎn)（并識(shí)別高中低等級(jí)）；
c.根據(jù)風(fēng)險(xiǎn)，采取不同的處置方式（如提示用戶(hù)、阻斷支付、通知緊急聯(lián)系人等）。
而針對(duì)以上反詐檢測(cè)流程，核心點(diǎn)在于對(duì)受害者手機(jī)中的視頻通話(huà)進(jìn)行合成偽造檢測(cè)。榮耀在功能設(shè)計(jì)時(shí)首先針對(duì)當(dāng)前主流的AIGC換臉?biāo)惴ǎ╒AE/GAN），提供檢測(cè)功能，再依賴(lài)榮耀豐富的端側(cè)AI能力構(gòu)建經(jīng)驗(yàn)，在兼顧隱私和性能的同時(shí)，將AIGC換臉檢測(cè)能力部署在手機(jī)端側(cè)。
VAE（變分自動(dòng)編碼器，通過(guò)學(xué)習(xí)數(shù)據(jù)的概率分布生成新的數(shù)據(jù)樣本）和GAN（生成對(duì)抗網(wǎng)絡(luò)，由生成器和判別器兩部分組成，生成器用于生成類(lèi)似真實(shí)圖片的假數(shù)據(jù)，而判別器用于區(qū)分生成器生成的數(shù)據(jù)真假；GAN通過(guò)生成器和判別器之間的對(duì)抗訓(xùn)練，生成高質(zhì)量的圖像）都是基于深度學(xué)習(xí)的兩種常見(jiàn)的生成模型，當(dāng)前被廣泛用于圖像生成領(lǐng)域。針對(duì)這兩種深度合成的人臉偽造方式，榮耀從其生成結(jié)果入手，進(jìn)行了大量的研究和試驗(yàn)，使用大量生成圖片進(jìn)行檢測(cè)模型訓(xùn)練，并針對(duì)VAE和GAN生成圖片提出了空間檢測(cè)、頻域檢測(cè)、生物信號(hào)檢測(cè)三種檢測(cè)方案。最終經(jīng)過(guò)大量的論證和測(cè)試，才得以形成目前的成果并投入使用。
此外，AIGC人臉合成反詐檢測(cè)技術(shù)還利用端側(cè)AI模型進(jìn)行識(shí)別，可確保數(shù)據(jù)在端側(cè)生成和推理，不上云，從而保護(hù)用戶(hù)數(shù)據(jù)隱私；而榮耀在手機(jī)終端算力資源受限、檢測(cè)時(shí)長(zhǎng)要求苛刻的條件下，通過(guò)構(gòu)建AI檢測(cè)模型，進(jìn)行了大量的樣本訓(xùn)練，最終實(shí)現(xiàn)了能有效檢測(cè)VAE/GAN人臉偽造的算法能力，能在不影響用戶(hù)體驗(yàn)（性能、功耗和檢測(cè)時(shí)延都可控）的情況下及時(shí)完成對(duì)視頻中人臉的檢測(cè)，并結(jié)合全鏈路反詐識(shí)別能力，為消費(fèi)者防止AIGC視頻詐騙提供有效的技術(shù)手段。
同時(shí)，我們也設(shè)計(jì)了詳細(xì)的隱私方案，確保用戶(hù)對(duì)于本技術(shù)的可知可控。在用戶(hù)使用AI換臉檢測(cè)功能前，通過(guò)通知膠囊等方式對(duì)用戶(hù)進(jìn)行告知明示，引導(dǎo)用戶(hù)了解功能介紹，同時(shí)設(shè)置單獨(dú)的功能開(kāi)關(guān)，由用戶(hù)主動(dòng)控制是否開(kāi)啟；在檢測(cè)時(shí)，僅對(duì)觸發(fā)特定涉詐條件的視頻通話(huà)進(jìn)行檢測(cè)，確保數(shù)據(jù)收集最小化，并同時(shí)在檢測(cè)時(shí)通過(guò)通知膠囊等方式實(shí)時(shí)提示用戶(hù)；在檢測(cè)完成后，若觸發(fā)高風(fēng)險(xiǎn)，通過(guò)彈窗對(duì)用戶(hù)進(jìn)行告知，告知用戶(hù)可能涉及AI換臉詐騙，并由用戶(hù)決定是否錄屏保存證據(jù)等。
實(shí)施效果：
榮耀智能終端AIGC人臉合成反詐檢測(cè)系統(tǒng)是榮耀端側(cè)AI能力建設(shè)的重要一環(huán)，也是榮耀持續(xù)創(chuàng)新安全工程能力的又一重大突破。在前期咨詢(xún)?cè)L談和用戶(hù)調(diào)研階段，我司了解到AI人臉合成識(shí)別、AI反詐類(lèi)需求是近年來(lái)用戶(hù)和監(jiān)管機(jī)構(gòu)均關(guān)注的重點(diǎn)，在解決方案構(gòu)建完成后，第一時(shí)間便向公眾公布了這一好消息，得到了業(yè)界的一致好評(píng)。
2024年6月26日，在上海世界移動(dòng)通信大會(huì)（2024MWC上海）上，榮耀向全球用戶(hù)展示了這一手機(jī)行業(yè)首個(gè)端側(cè)AI反詐檢測(cè)技術(shù)，這一解決方案的發(fā)布，引起了全球媒體的廣泛關(guān)注，在MWC上發(fā)布之后，有近百家媒體對(duì)榮耀AIGC人臉合成反詐檢測(cè)技術(shù)進(jìn)行了報(bào)道，并頗具好評(píng)；隨后，在9月舉行的柏林國(guó)際電子消費(fèi)品展覽會(huì)（IFA）上，榮耀AI安全及AI反詐檢測(cè)技術(shù)的亮相再次引發(fā)全球熱議。