將互聯(lián)網(wǎng)上的色情、毒品、暴力和其它不適當(dāng)?shù)膬?nèi)容過濾并不是一件容易的事。Facebook在全球的內(nèi)容審核員從2017年的4500名增長至現(xiàn)在的7500名。而且在今年4月份，谷歌YouTube表示，在去年的10月份到12月份之間，他們已經(jīng)下架了超過800萬個(gè)與其政策相違背的視頻，其中20%的視頻是由上千名員工組成的團(tuán)隊(duì)標(biāo)記的。
紐約初創(chuàng)公司Clarifai認(rèn)為，AI能夠幫助減輕工作負(fù)擔(dān)。該公司今天宣布了一個(gè)端到端的審核解決方案，即使用了計(jì)算機(jī)視覺來分析用戶生成的圖片和視頻，并且當(dāng)檢測到有攻擊性或者不適當(dāng)?shù)膬?nèi)容時(shí)，會立刻對其進(jìn)行標(biāo)記。該解決方案將于本周發(fā)布公開測試版本。
“在Clarifai，我們會承諾繼續(xù)完善AI，為用戶帶來好處，并且我們?yōu)樾露说蕉说膶徍私鉀Q方案所開發(fā)的工具也展現(xiàn)了用戶對這類工具迫切的市場需求，”Clarifai的創(chuàng)始人兼首席執(zhí)行官M(fèi)att Zeiler說道：“當(dāng)用戶在瀏覽他們喜愛的社交平臺時(shí)，內(nèi)容審核在避免用戶瀏覽到不喜愛或者不想看到的內(nèi)容方面至關(guān)重要。”
Clarifai的審核解決方案利用了公司現(xiàn)有的機(jī)器學(xué)習(xí)模型，通過一些預(yù)先配置的過濾器標(biāo)簽，如“明確性”、“建議性”、“暴力”、“毒品”、“NSFW”、“SFW”和自定義的標(biāo)簽來對比用戶生成的內(nèi)容。用戶先將圖片發(fā)送給Clarifai，然后該系統(tǒng)會將分析數(shù)據(jù)的方式進(jìn)行可視化。經(jīng)過分析的每條內(nèi)容都會生成指示匹配可能性的概率分?jǐn)?shù)。
注：NSFW（not safe for work）是工作時(shí)不能看的內(nèi)容；SFW（safe for work）是工作時(shí)可以看的內(nèi)容。
將AI應(yīng)用到內(nèi)容審核并不是一個(gè)新的概念。Microsoft Azure的Content Moderator（內(nèi)容審核器）是一個(gè)自動的審核服務(wù)，結(jié)合了AI和人工審核來檢測具有潛在攻擊性的圖片、文本和視頻。Alibaba Cloud也有和Content Moderation相類似的產(chǎn)品，即使用了深度學(xué)習(xí)來尋找用戶生成的圖片和視頻中的暴力、恐怖和釣魚內(nèi)容，Amazon也在其AI驅(qū)動的內(nèi)容檢測服務(wù)Rekognition中使用了深度學(xué)習(xí)技術(shù)。
在投入使用階段，這些系統(tǒng)并不能保證萬無一失。例如，F(xiàn)acebook算法就標(biāo)記了包含性裸露的歷史雕像圖片，并自動刪除了諷刺越南戰(zhàn)爭的圖片。YouTube也在無意中將合法的廣告標(biāo)記為釣魚信息。
但是Clarifai表示他們正在采取措施來緩解潛在的問題。
Web儀表盤提供的控制權(quán)限允許用戶將內(nèi)容認(rèn)定和否定過程自動化，并且當(dāng)內(nèi)容無法達(dá)到具體的置信度閾值時(shí)，會為人工審核員提供完整的支持。Zeiler表示，這很像“人在回路”方法——Moderator UI利用了團(tuán)隊(duì)來驗(yàn)證模型的準(zhǔn)確性，并且經(jīng)過審核和標(biāo)記的每一項(xiàng)內(nèi)容都會被用于訓(xùn)練系統(tǒng)來不斷提高準(zhǔn)確度。
注：“人在回路”也可稱為人機(jī)閉環(huán)系統(tǒng)，或者人機(jī)互助系統(tǒng)，指操作員在經(jīng)過第一次指令輸入后，仍有機(jī)會進(jìn)行第二次或不間斷的指令更正。
“用戶要關(guān)注的應(yīng)該是將金錢和資源用在重要的地方，即擴(kuò)大業(yè)務(wù)規(guī)模。”他說道。
與審核解決方案一同發(fā)布的還有增強(qiáng)版的General Model，并且Moderation、Celebrity、Face Detection、Textures & Patterns、General Embedding和Faceb Embedding系統(tǒng)也將開放使用。該公司表示在圖片和視頻識別方面的準(zhǔn)確率將高達(dá)99%。
General Model是Clarifai時(shí)間最久產(chǎn)品，能夠識別超過11000個(gè)物品，還有情緒和主題。在10月初，General Model升級到了1.5版本，有更高的準(zhǔn)確率，部分原因是訓(xùn)練數(shù)據(jù)是由機(jī)器標(biāo)記的而不是人工標(biāo)記。
在今年早期，Zeiler在和VentureBeat的電話采訪中表示：“它也能夠幫助用戶在我們的平臺上構(gòu)建自定義模型，以及在平臺上回?fù)碛懈玫囊曈X搜索，因?yàn)镚eneral Model可以說是這種技術(shù)的基礎(chǔ)，這不僅僅是現(xiàn)成的概念，而且提高了我們平臺上其它工具的準(zhǔn)確率。”
Clarifai成立于2013年，重要的客戶包括West Elm、OpenTable、Trivago和9Gag等。公司提供的服務(wù)每個(gè)月都能夠?qū)Τ^30億的照片和視頻進(jìn)行分類和預(yù)測。
截止到目前，Clarifai已經(jīng)籌集了4000萬美元。
原文作者：KYLE WIGGERS
