AI技術(shù)，究竟能在哪些行業(yè)實現(xiàn)規(guī)?；瘧?yīng)用？
這是視頻行業(yè)面對AI浪潮，交出的一份答卷：
素材智能檢索、老電影修復(fù)、音色克隆、虛擬動漫偶像……
愛奇藝將最前沿的AI技術(shù)，落地到視頻創(chuàng)作、內(nèi)容分發(fā)中去，真正讓創(chuàng)作者提升效率、讓消費者簡單快樂。
在MEET 2021智能未來大會現(xiàn)場，愛奇藝副總裁謝丹銘表示：
用AI結(jié)合科技與藝術(shù)，能促進整個產(chǎn)業(yè)的升級發(fā)展。
在不改變原意的基礎(chǔ)上，量子位對謝丹銘的演講進行了編輯整理。
關(guān)于MEET智能未來大會：MEET大會是由量子位主辦的智能科技領(lǐng)域頂級商業(yè)峰會，致力于探討前沿科技技術(shù)的落地與行業(yè)應(yīng)用。本次大會現(xiàn)場有李開復(fù)等20余位行業(yè)頂級大咖分享，500余名行業(yè)觀眾參與，超過150萬網(wǎng)友在線收看直播。包括新華社、搜狐科技、澎湃新聞、封面新聞等數(shù)十家主流媒體在內(nèi)紛紛報道，線上總曝光量累計超過2000萬。
演講要點
這場疫情，極大地提升了技術(shù)、尤其是智能技術(shù)在產(chǎn)業(yè)中的重要性。
目前，國內(nèi)有上萬部需要被拯救、保護的膠帶電影。如果利用AI修復(fù)，就可以省去80%的繁復(fù)工作。
愛奇藝為內(nèi)容創(chuàng)作者提供了一個素材庫，讓他們不再需要去盜版網(wǎng)站找視頻素材。
我們希望降低廣告對用戶的打擾程度，讓廣告也能成為用戶獲取信息的手段。
通過AI，將科技與藝術(shù)進行結(jié)合，就能促進整個產(chǎn)業(yè)的升級發(fā)展。
用AI讓創(chuàng)作者提升效率，讓消費者簡單快樂。
（以下為謝丹銘演講分享全文）
疫情加速視頻創(chuàng)作智能化
今天，我演講的題目是“智能時代的內(nèi)容創(chuàng)作與消費”。
在即將過去的2020年里，多數(shù)產(chǎn)業(yè)遭遇較大沖擊，呈現(xiàn)出一個或深或淺的“V”字型走勢。
演講之前，孟鴻老師問了我一個問題：愛奇藝和視頻行業(yè)，應(yīng)該會是疫情的受益者？
其實不然。
如大家所見，年初由于疫情，很多人在家辦公，加之寒假，我們的消費指數(shù)飆升得很高。
但在這之后，上下游和合作伙伴受到疫情沖擊，我們也難以獨善其身。在疫情期間，由于很多片子無法拍攝，出現(xiàn)了內(nèi)容供給跟不上、廣告預(yù)算大幅減少的情況。
經(jīng)過思考，我們試著將內(nèi)容創(chuàng)作搬到線上，實現(xiàn)了一個云錄制系統(tǒng)。
此后，我們利用AR、MR等XR技術(shù)，實現(xiàn)了虛擬制作，相當(dāng)于搭建一個虛擬的棚，在棚里進行電影、電視劇拍攝。
我們還利用智能化技術(shù)，提升了廣告投放效率，減少了預(yù)算損失。
這場疫情，極大地提升了技術(shù)、尤其是智能技術(shù)在產(chǎn)業(yè)中的重要性。
目前，愛奇藝打造的智能平臺，主要用于服務(wù)兩部分人群：一部分是上游的內(nèi)容創(chuàng)作者，另一部分是用戶消費者。
其中，內(nèi)容創(chuàng)作者主要分為三類。
一類是傳統(tǒng)的長視頻創(chuàng)作者，包括導(dǎo)演、演員和后期制作人員，他們主要創(chuàng)作電影、電視劇、綜藝、動漫及兒童動畫片等類型的作品。
另兩類則分別是短視頻、小視頻創(chuàng)作者，包括許多MCN（Multi-Channel Network）機構(gòu)和UGC（User Generated Content）創(chuàng)作者。
那么，如何服務(wù)這些內(nèi)容創(chuàng)作者？
以綜藝節(jié)目為例，愛奇藝最早投入、使用了一個大型AI綜藝創(chuàng)作系統(tǒng)，名為“愛創(chuàng)媒資系統(tǒng)”。
在綜藝錄制現(xiàn)場，通常會有五六十個、甚至上百個（固定或移動的）攝像頭同時進行拍攝，產(chǎn)生大量錄制素材。
這些素材的數(shù)量，是普通視頻素材的幾十倍、甚至上百倍，手動處理起來非常麻煩。
但如果用AI來處理這些素材，例如進行時間對齊，就能提升10倍左右的效率。
而利用AI，還能智能化地給素材片段打標簽，如用AI識別音頻中的演員臺詞、進行語義理解，讓導(dǎo)演、后期制作人員能快速檢索到想要的片段。
這些素材中，也有許多待刪減部分，如模糊片段、黑鏡和噪音廢片，也都能用AI快速識別、處理。
事實上，最后的視頻成片，并非綜藝現(xiàn)場的原始記錄，而是一種藝術(shù)創(chuàng)作。過程中，素材檢索是非常重要的一環(huán)。
除此之外，AI還能被用于視頻審核、商務(wù)植入和視頻宣發(fā)中。
例如，視頻制作時，要求某一角色不能露出胡子、紋身，那么我們利用AI，就能快速找到這些不符合要求的內(nèi)容。
在商務(wù)植入時，也能利用AI可以快速地計算植入時長。
至于宣發(fā)階段，也能用AI制作宣傳和預(yù)告片。
例如，用AI學(xué)習(xí)視頻幀的圖案，并快速產(chǎn)出各種各樣的宣發(fā)視頻、預(yù)告片段。
用AI修復(fù)老電影、制作動漫
而在電影創(chuàng)作上，愛奇藝也做了一個名為ZoomAI的視頻增強技術(shù)。
這是一個AI功能包，能完成去噪、前景提亮、超分辨率、插幀等視頻優(yōu)化算法。
上個月，我們還和廈門大學(xué)的人文學(xué)院成立了一個聯(lián)合實驗室，專門修復(fù)像《小兵張嘎》這樣的老電影。
現(xiàn)在，國內(nèi)還有上萬部這樣的膠帶電影，需要被拯救、保護，如果利用AI修復(fù)，可以減少80%的工作，剩下的20%再交由廈大的同學(xué)，一幀幀手動審核修復(fù)。
目前，愛奇藝也已經(jīng)“出海”，將業(yè)務(wù)延伸到了海外。
但無論是東南亞還是歐洲，語言都呈現(xiàn)碎片化特點，在不同的地區(qū)，可能出現(xiàn)多種不同的語言。
例如，僅東南亞一個地區(qū)，就有印尼語、馬來語、泰語等多種語言。
如果要做一部視頻的海外配音，就需要找各個角色的、不同語言的配音演員，成本會非常高。
因此，我們構(gòu)建了一個AI音色庫，利用Voice Conversion（語音轉(zhuǎn)換）來配音，只需要給每個角色找一個“演員”，就能完成所有視頻的配音。
相對來說，TTS（語音合成）無法準確表達語氣、語調(diào)，但Voice Conversion卻能用另外一種音色，將情緒很好地表達出來。
電影之外，還有一個相對龐大、有前景的產(chǎn)業(yè)，就是動漫。
在中國，大概有4億的二次元人群。
我們調(diào)研發(fā)現(xiàn)，動漫產(chǎn)業(yè)的創(chuàng)作者，基本還是在用PS等傳統(tǒng)工具進行創(chuàng)作。
過程中會先畫出線框、再完成上色，其中光是上色階段，就占據(jù)工作量的40%~50%。
用AI工具，能幫創(chuàng)作者提升不少效率。
例如，讓創(chuàng)作者指定一種風(fēng)格，比如“賽璐璐”。利用風(fēng)格遷移，AI立刻就能完成“賽璐璐”風(fēng)格的線稿上色。
如果涉及AI沒有學(xué)過的風(fēng)格，也可以先手動給關(guān)鍵幀上色，再利用特征遷移，將上色風(fēng)格遷移到其他幀中。
這些操作，能讓線稿上色效率提升80%左右。
上面這些AI操作，是針對傳統(tǒng)、制作精良的動漫設(shè)計的。除此之外，還有一種名為輕動漫或者動態(tài)漫的動漫類型。
這種動漫，可以理解為給漫畫加了一點動效，讓人物能夠走動、說話。
現(xiàn)在，輕動漫在網(wǎng)上的傳播量非常大，我們也已經(jīng)能利用AI，制作這種動漫。
只需要用AI對動漫人物進行面部識別，再做唇形驅(qū)動，就能讓人物的嘴巴動起來，接近人工制作的效果。
此外，愛奇藝今年還推出了跨次元新星的虛偶選秀節(jié)目。
其中，左邊的“小滿”是虛擬手語主播，右邊的“小又”，則是虛擬節(jié)目主持。
利用TTS和Voice Conversion合成聲音、加上唇形和表情驅(qū)動合成口型，就能讓她們開口“說話”。
“小又”上線后非常受用戶歡迎，節(jié)目的播放量也有所提升。
如何用AI創(chuàng)作UGC作品
我們分析發(fā)現(xiàn)，UGC創(chuàng)作的過程，大致可以分為幾個階段。
首先，用戶會想出一個創(chuàng)意，圍繞創(chuàng)意搜集一些素材，根據(jù)素材尋找合適的背景樂，最后在剪輯工具中完成視頻創(chuàng)作。
每個階段，我們都能用AI幫助創(chuàng)作者減少一定的工作量。
比如，愛奇藝有許多明星的“粉絲視頻”，即粉絲創(chuàng)作的視頻。
要想制作這樣的視頻，只需要利用我們的“一鍵成片”功能，就能用AI分析一部明星出演的電影，并在10秒內(nèi)創(chuàng)作關(guān)于這個明星的短視頻。
像易烊千璽的粉絲，只需要選擇“易烊千璽”，再選中他出演的電影《少年的你》，點上背景音樂，就能完成粉絲視頻的創(chuàng)作。
這種視頻，也叫“舔屏向”視頻，其中“舔屏”，指喜愛某個明星到想要舔手機屏幕的程度。
當(dāng)然，愛奇藝還給內(nèi)容創(chuàng)作者提供了一個素材庫，不再需要去盜版網(wǎng)站找視頻素材。
我們在隨刻創(chuàng)作APP的素材庫里，利用AI對站內(nèi)的長視頻進行內(nèi)容理解，并打好了人物、動作、場景等標簽。
創(chuàng)作者可以快速找到所需素材，加進自己的作品中。
此外，APP也能根據(jù)創(chuàng)作的視頻內(nèi)容，智能推薦較匹配的背景音樂。當(dāng)然，還可以用TTS來配音、或是用ASR給視頻填充字幕等。
有了AI，看視頻變得更簡單
對于用戶消費者，我們則希望用智能技術(shù)，為他們提供優(yōu)質(zhì)服務(wù)。
例如，用智能搜索、推薦算法，讓用戶快速找到喜歡的內(nèi)容。
同時，我們也希望給用戶提供更好的感覺，例如，在視覺和聽覺上，給用戶以高清、流暢的體驗感。
此外，我們還想給用戶提供更自然、好玩的互動場景。
目前，用戶已經(jīng)能通過語音和手勢，對手機、平板、筆記本電腦、電視等各種電子設(shè)備上的愛奇藝APP進行操作，交互變得更加自然。
但愛奇藝APP覆蓋的設(shè)備，還包括VR頭盔、家庭娛樂設(shè)施及車載APP等，其中，有些設(shè)備無法很好地用鍵鼠、觸控進行輸入。
因此，我們做了一個Home AI的語音交互平臺，可以做語音識別。
不僅如此，這個平臺還能識別音色，根據(jù)音色來推薦內(nèi)容。
例如，根據(jù)音色年齡（老人、年輕人或小孩），平臺能給你推薦相關(guān)的視頻。
同時，平臺還可以做一些智能搜索，如根據(jù)知識圖譜，進行劇情智能問答。
還有一個受小朋友歡迎的功能，即用AI克隆家長的音色、來制作朗讀繪本。
除此之外，AI還能被用于我們的拍攝APP中，包括AI美顏、美妝等。
利用這些功能、加上AI的人臉識別技術(shù)，我們做了許多有意思的創(chuàng)新，例如一些小游戲。
這是《青春有你》的虞書欣同學(xué)，示范的一個“吃雞腿”小游戲，用到了五官、輪廓識別的AI技術(shù)。
當(dāng)她沒吃到雞腿時，AI就會在她的輪廓上套個黑帽子。
除了這些技術(shù)以外，AI還能幫我們“智能查詢”視頻中的信息。
例如，看視頻時，用戶想知道其中某個演員叫什么、飾演過什么電影，或是想知道視頻的背景音樂、想了解一段臺詞的涵義。
因此，我們做了一個叫“奇觀”的智能識別平臺，不僅能識別視頻中的演員、背景音樂，還能查到臺詞的意思。
去年，“奇觀”還實現(xiàn)了“卡通識別”功能，像《小豬佩奇》里的豬爸爸、豬媽媽，都能識別出來。
如果在大街上看到一張海報，還可以用愛奇藝的AR掃一掃，來識別明星。
用AI，促進產(chǎn)業(yè)升級發(fā)展
在愛奇藝，廣告不僅是一個變現(xiàn)的手段，也是一種可以消費的內(nèi)容。
我們希望，廣告能夠降低對用戶的打擾，成為用戶獲取信息的一個手段。
針對廣告的個性化、精準化，我們今年也做了不少工作。
我們對愛奇藝的站內(nèi)長視頻進行了精準分析，做了兩三千組標簽，包括人物、場景、動作、行為和轉(zhuǎn)場景等。
這樣，客戶在投放廣告時，我們就可以根據(jù)他需要的場景，來進行定向投放。
例如，某個視頻中出現(xiàn)了購物場景，我們就可以給用戶投放一個電商廣告，來降低對用戶的干擾、增加客戶投放效率。
當(dāng)然，還有叫做“Video In”的廣告，也可以用AI來識別場景，看哪些點位可以用來投放。
例如，想要植入某種藥物廣告。通過AI，我們識別到視頻中有一張桌子，就可以把這瓶藥放上去。
或是識別到視頻中有一堵墻，也可以在上面放一個廣告框、貼上廣告。
這種原生植入的廣告類型，同樣受客戶喜歡。
此外，愛奇藝還會直播一些如足球、網(wǎng)球等體育節(jié)目，我們會對其中的直播流進行實時分析。
如果出現(xiàn)了“高能”場景，如足球進球、或是網(wǎng)球得分，我們也會及時插播廣告。
這些在精彩時刻推出的廣告，效果很好。因為這種場景下，觀眾的注意力也會非常集中。
除此之外，我們也能利用AI，為廣告做不同的個性化海報。
針對用戶的特性，我們能讓AI生成各種風(fēng)格的海報，針對性地進行分發(fā)，能極大程度上提高用戶的點擊率。
剛剛提到的這些用戶創(chuàng)作、廣告消費的AI功能，只是愛奇藝這個“智能板圖”中的一部分。
在視頻制作方面，我們也上線了劇本分析、流量預(yù)測等功能，至于內(nèi)容剪輯，也包括智能拆條、智能混剪等AI工具。
在后臺中，涉及AI的應(yīng)用就更多了，包括AI翻譯、審核等工具，都是各大視頻網(wǎng)站的標配。
我們希望通過AI，將科技與藝術(shù)進行結(jié)合，來促進整個產(chǎn)業(yè)的升級發(fā)展。
最后，我用一句話結(jié)束今天的演講：創(chuàng)意讓夢想綻放，科技讓快樂簡單。
這句話，不僅是愛奇藝的使命，也是我們做AI的同學(xué)的夢想和目標。
謝謝大家！
