本文來自微信公眾號“DVBCN中廣5G”，【作者】呢喃。
11月15日，國家廣播電視總局科技司公布了《數(shù)字虛擬人技術(shù)要求》行業(yè)標(biāo)準(zhǔn)報批稿。
該文件規(guī)定了廣播電視和網(wǎng)絡(luò)視聽行業(yè)數(shù)字虛擬人的技術(shù)要求，對于數(shù)字虛擬人分類、應(yīng)用場景、形象、驅(qū)動技術(shù)、平臺能力、安全能力提出規(guī)范要求。適用于廣播電視和網(wǎng)絡(luò)視聽行業(yè)數(shù)字虛擬人的系統(tǒng)建設(shè)、創(chuàng)作和應(yīng)用。
按照文件中定義，數(shù)字虛擬人即基于現(xiàn)實(shí)世界設(shè)計，通過計算機(jī)生成，再借助真人或計算驅(qū)動，在多模態(tài)輸出設(shè)備呈現(xiàn)的虛擬人物。
按照人物形象分類，分為2D數(shù)字虛擬人和3D數(shù)字虛擬人；按照交互模式分類，分為非交互式數(shù)字虛擬人和交互式數(shù)字虛擬人；按照驅(qū)動模式分類，分為算法驅(qū)動型數(shù)字虛擬人和真人驅(qū)動型數(shù)字虛擬人。
數(shù)字虛擬人主要應(yīng)用場景分為內(nèi)容播報、交互客服、虛擬演播和內(nèi)容創(chuàng)作等。其中內(nèi)容播報包含新聞資訊播報/手語播報、電影/電視/專題片/紀(jì)錄片介紹和直播帶貨等；交互客服包含虛擬客服、智能助手和交互問答等；虛擬演播包含綜藝主持、虛擬演唱會、文娛活動和用戶代理虛擬分身等；內(nèi)容創(chuàng)作包含影視創(chuàng)作、視頻創(chuàng)作、廣告創(chuàng)作和游戲創(chuàng)作等。
總體技術(shù)架構(gòu)包括數(shù)字虛擬人形象、算法驅(qū)動能力、真人驅(qū)動能力、平臺能力和安全能力等內(nèi)容。數(shù)字虛擬人形象包括2D真人、2D卡通、3D寫實(shí)、3D卡通和建模技術(shù)。算法驅(qū)動包括驅(qū)動能力、合成能力和多模態(tài)能力。其中，驅(qū)動能力又分為文本驅(qū)動能力、語音驅(qū)動能力和視頻驅(qū)動能力；合成能力包含語音合成能力和視頻合成能力；多模態(tài)能力包含語音識別能力和自然語言處理能力。
總體要求中，數(shù)字虛擬人形象，應(yīng)滿足如下要求：
a)符合場景的任務(wù)設(shè)定，在人物形象、表情、服飾等方面得體、美觀；
b)支持全身、大半身、半身不同景別姿態(tài)；
c)形象完好，不存在扭曲、馬賽克、跳幀、破損、音視頻延時、口唇不一致等情況；
d)支持裝扮、服飾的更換；
e)不存在侵犯第三方權(quán)利及法律法規(guī)禁止的其他情形。
2D真人數(shù)字虛擬人形象方面，支持真人形象復(fù)刻，形象逼真自然，語音自然流暢；支持通過照片、視頻等方式生成形象，保證面部五官、膚色、牙齒、明暗等準(zhǔn)確還原。2D卡通數(shù)字虛擬人形象，應(yīng)支持2D卡通形象繪制，對特有的卡通形象進(jìn)行建模；支持不同景別、姿態(tài)，形象靈動活潑，動作自然舒展。
3D寫實(shí)數(shù)字虛擬人形象，應(yīng)支持通過3D建?；蛘嫒藪呙璧确绞娇坍嬓蜗螅^部模型覆蓋面部、口腔、上下牙、舌頭、獨(dú)立左右眼球、眼瞼、淚腺等；頭部、面部、身體紋理有效區(qū)域面積高；毛發(fā)系統(tǒng)，如頭發(fā)、睫毛、面部絨毛等紋理清晰。支持對形象的美型、加工和風(fēng)格化等；支持不同角度、景別、姿態(tài)的靈活轉(zhuǎn)換；支持豐富的動作類型；支持光照效果的處理，如光影、折射、反射等效果；支持人形骨骼、蒙皮建模；支持按1:1的比例，對真人進(jìn)行復(fù)刻。3D卡通數(shù)字虛擬人形象，應(yīng)支持3D卡通形象繪制等方式，對特有的卡通形象進(jìn)行建模；支持不同景別、角度、姿態(tài)，形象靈動活潑，動作自然舒展；支持豐富的動作類型。
數(shù)字虛擬人算法驅(qū)動能力方面，應(yīng)支持單一技術(shù)驅(qū)動和混合技術(shù)驅(qū)動的方式；數(shù)字虛擬人展示應(yīng)支持端側(cè)渲染，宜兼容多操作系統(tǒng)。
數(shù)字虛擬人視頻驅(qū)動能力，應(yīng)支持計算機(jī)視覺算法，基于記錄面部表情和肢體動作的視頻，驅(qū)動生成數(shù)字虛擬人的語音、動作、表情、口型；支持的視頻包括通過攝像頭記錄人體面部表情、肢體動作的視頻；支持實(shí)時或離線的驅(qū)動方式。
數(shù)字虛擬人語音合成能力，應(yīng)支持端到端語音合成模型，支持HiFi-GAN、VAE、Diffusion（擴(kuò)散模型）、Glow（流生成模型）、DurIAN等多種語音合成模型；音合成效果自然，音質(zhì)音效貼近真人；實(shí)現(xiàn)字詞級別的音量、時長的細(xì)粒度控制，實(shí)現(xiàn)音量、語速的調(diào)節(jié)；實(shí)現(xiàn)多情感高表現(xiàn)力的可控語音合成效果，根據(jù)文本內(nèi)容自動切換合成不同情感的語音；支持針對應(yīng)用場景（包括播報、解說、詩歌、閱讀、客服等），生成多種語音合成風(fēng)格。
數(shù)字虛擬人視頻合成能力，應(yīng)支持多種渲染引擎技術(shù)對數(shù)字虛擬人形象進(jìn)行渲染，包括UE、Unity等；支持圖像增強(qiáng)技術(shù)，改善視頻質(zhì)量和用戶體驗(yàn)；支持視頻離線合成或?qū)崟r渲染合成；支持通過人臉的圖像或視頻內(nèi)容進(jìn)行視頻合成；支持不同分辨率、碼率的視頻合成；在1080P分辨率條件下，視頻合成實(shí)時率不高于1；合成后的視頻流暢，支持幀率不小于25FPS。
數(shù)字虛擬人多模態(tài)能力，應(yīng)發(fā)音準(zhǔn)確，不存在漏音吞音、多余發(fā)音、音素錯誤、音調(diào)錯誤等情況；語速、停頓斷句、音高、音長、音量、重音等符合自然語言發(fā)音規(guī)律；語音語調(diào)舒適；常見多音字發(fā)音正確?？谛汀⒋叫巫匀?，與發(fā)音同步，符合發(fā)音的規(guī)律，具備飽滿度和表現(xiàn)力。動作精準(zhǔn)、自然，與交互語境契合，動作包括但不限于頭部、肢體、全身等部位。支持實(shí)時渲染技術(shù)，支持基于物理光照和實(shí)際環(huán)境光源、相機(jī)位置、材質(zhì)參數(shù)等實(shí)時計算，完成圖像渲染。在交互客服場景下，支持多輪對話能力，根據(jù)上下文內(nèi)容或用戶的問詢，進(jìn)行判斷選擇，完成用戶交互；支持通過對話樹等方式，完成不同業(yè)務(wù)場景下的多輪對話流程跳轉(zhuǎn)及應(yīng)答。
數(shù)字虛擬人平臺，應(yīng)支持針對內(nèi)容播報、交互客服、虛擬演播、內(nèi)容創(chuàng)作等應(yīng)用場景；支持創(chuàng)作不同類型的數(shù)字虛擬人；支持?jǐn)?shù)字虛擬人形象的資產(chǎn)管理、業(yè)務(wù)服務(wù)配置及內(nèi)容生產(chǎn)服務(wù)；支持?jǐn)?shù)字虛擬人形象租賃；支持?jǐn)?shù)字虛擬人形象選型、音色配置、背景空間管理、發(fā)音及動作配置、會話管理、流程管理等功能；支持多種AI模型和算法；平臺生成的數(shù)字虛擬人具備多模態(tài)交互能力；具備豐富的語音及動作庫；支持離線、實(shí)時的數(shù)字虛擬人生成方式；真人驅(qū)動型平臺技術(shù)支持真人驅(qū)動的模式，真人驅(qū)動可以和算法驅(qū)動混合使用，相互接管。
數(shù)字虛擬人平臺部署，應(yīng)支持公有云部署、私有云部署或本地化部署方式；應(yīng)支持多類型前端接入能力，包括但不限于PC、移動終端、大屏設(shè)備等終端接入設(shè)備，以及網(wǎng)頁、APP、小程序、H5等應(yīng)用形式，滿足系統(tǒng)的前端兼容性；宜支持運(yùn)用微服務(wù)、集群的部署方式；宜采用負(fù)載均衡、分布式數(shù)據(jù)庫等技術(shù)。
