如何讓機(jī)器更懂你?是時(shí)候了解NLP了!

Mary Branscombe
自然語(yǔ)言處理(NLP)在語(yǔ)音和文本方面的改進(jìn)將助力主流技術(shù)的發(fā)展。例如以人類自然發(fā)音朗讀電子郵件時(shí),如果用戶對(duì)電子表格中的數(shù)據(jù)提出質(zhì)疑,Excel會(huì)自動(dòng)以圖表和數(shù)據(jù)透視表的形式回答相關(guān)問(wèn)題。

自然語(yǔ)言處理(NLP)在語(yǔ)音和文本方面的改進(jìn)將助力主流技術(shù)的發(fā)展。例如以人類自然發(fā)音朗讀電子郵件時(shí),如果用戶對(duì)電子表格中的數(shù)據(jù)提出質(zhì)疑,Excel會(huì)自動(dòng)以圖表和數(shù)據(jù)透視表的形式回答相關(guān)問(wèn)題。

隨著NLP變得更加準(zhǔn)確并被廣泛使用,其不僅能夠支持預(yù)置主題的聊天機(jī)器人,還能夠處理半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。知識(shí)挖掘功能可以幫助用戶洞察業(yè)務(wù)流程、資產(chǎn)和負(fù)債信息,從而幫助創(chuàng)建更加合理的工作流程以及更加實(shí)時(shí)地監(jiān)測(cè)企業(yè)的運(yùn)營(yíng)。

NLP有著廣泛的應(yīng)用范圍,翻譯和語(yǔ)言生成、分類和聚合、情感分析,以及其他信息提取、Siri等虛擬助手都在NLP的應(yīng)用范圍之內(nèi)。例如拼寫檢查、對(duì)電子郵件和消息的回復(fù)給出建議等簡(jiǎn)單的NLP如今已經(jīng)被廣泛使用。

Apexanalytix負(fù)責(zé)應(yīng)用與高級(jí)技術(shù)的高級(jí)副總裁Walt Kristick解釋說(shuō):“NLP可以將單詞分解為最基礎(chǔ)的形態(tài),識(shí)別它們之間的模式、規(guī)則和聯(lián)系。人類的書(shū)面用語(yǔ)和口語(yǔ)在經(jīng)由計(jì)算機(jī)算法解析和翻釋之后,系統(tǒng)能夠?qū)W習(xí)和理解人類語(yǔ)言。提高NLP對(duì)文本和非相關(guān)數(shù)據(jù)源的分析和提取含義的能力,尤其在醫(yī)療保健和生命科學(xué)領(lǐng)域當(dāng)中,已經(jīng)成為了用戶的關(guān)注點(diǎn)。”

下面我們將介紹一下NLP的現(xiàn)狀以及其適用范圍。

01

NLP服務(wù)的優(yōu)勢(shì)

除了Python NLTK、Sanford CoreNLP和Apache OpenNLP之類的框架外,許多算法也可用于構(gòu)建NLP任務(wù),但是往往效率越高的模型,其規(guī)模也就越龐大。有著170億參數(shù)的微軟圖靈自然語(yǔ)言生成模型是有史以來(lái)發(fā)布的最大模型,即便是BERT和GPT-2,其參數(shù)也有數(shù)十億之多。

即便企業(yè)擁有NLP專家,如果想根據(jù)自身情況定制相關(guān)的模型也是一項(xiàng)挑戰(zhàn)。微軟主管對(duì)話式AI的副總裁Lili Cheng警告說(shuō):“僅僅使用這些模型并不能處理企業(yè)中復(fù)雜的事情。對(duì)于許多企業(yè)而言,托管這些大型模型、對(duì)其有效管理和讓其正常運(yùn)行非常是具有挑戰(zhàn)性的。雖然有人愿意這樣做,但是我們相信更多的客戶希望有針對(duì)性地進(jìn)行定制和添加信息。”

當(dāng)領(lǐng)導(dǎo)者開(kāi)始迅速有針對(duì)性地招募某一任務(wù)所需要的所有人員,那么就意味著變革開(kāi)始了。這三種方式都可以幫助領(lǐng)導(dǎo)者建立一個(gè)更好的新常態(tài)。即使是擁有AI人才的企業(yè)也經(jīng)常會(huì)從微軟、亞馬遜、谷歌和IBM等提供商那里購(gòu)買NLP服務(wù),以使專業(yè)開(kāi)發(fā)人員和商業(yè)用戶也能夠利用該技術(shù)。

作為微軟的客戶,Telefonica在內(nèi)部設(shè)置有AI小組。即便如此,為了讓沒(méi)有開(kāi)發(fā)人員專業(yè)知識(shí)的業(yè)務(wù)用戶可以使用Q&A Maker等服務(wù)來(lái)創(chuàng)建自己的工具,Telefonica也在使用微軟的Power平臺(tái)。Cheng說(shuō):“為了讓用戶能夠以搜索或?qū)υ挼姆绞教岢鰡?wèn)題和獲得答案,你可以將其指向PDF文件或網(wǎng)頁(yè)版FAQ 。”

NLP的一個(gè)關(guān)鍵應(yīng)用是聊天機(jī)器人。聊天機(jī)器人可以幫助接受訂單、從FAQ中提供答案、進(jìn)行路線查詢、預(yù)定會(huì)議并在必要時(shí)與人類進(jìn)行對(duì)話。

Confirmit產(chǎn)品管理高級(jí)總監(jiān)Paul Quinn表示,NLP是一種強(qiáng)大的工具,可幫助企業(yè)從大量文本和語(yǔ)音數(shù)據(jù)中獲取客戶洞察力。他說(shuō):“企業(yè)通常都擁有超過(guò)100TB的非結(jié)構(gòu)化數(shù)據(jù),從呼叫中心提示、客戶電子郵件到調(diào)查評(píng)論,無(wú)所不包。如果企業(yè)想改善客戶體驗(yàn)或是想獲得有關(guān)自己品牌的詳細(xì)洞察力,那么他們都可以使用NLP篩選大量數(shù)據(jù),并從中找到有用數(shù)據(jù)。”

IBM研究員兼AI首席架構(gòu)師Dakshi Agrawal表示,不僅僅是零售業(yè),其他面向客戶的行業(yè)也都可從NLP中受益。任何與客戶打交道的企業(yè)都可以利用NLP從他們的互動(dòng)中獲得洞察力。Agrawal說(shuō):“與和外部客戶及合作伙伴打交道一樣,許多企業(yè)也將這一技術(shù)用到了內(nèi)部員工和HR交互當(dāng)中。”

為了在客戶使用不同術(shù)語(yǔ)進(jìn)行報(bào)告時(shí),將問(wèn)題的分組變得更為準(zhǔn)確,除了關(guān)鍵詞提取外,還可以在主題聚合中使用句子嵌入等NLP技術(shù)。這樣可幫助發(fā)現(xiàn)趨勢(shì)性問(wèn)題或重復(fù)出現(xiàn)的問(wèn)題。

獨(dú)立的英國(guó)運(yùn)輸行業(yè)監(jiān)管機(jī)構(gòu)Transport Focus已經(jīng)在使用Signoi來(lái)查看通勤者和旅客對(duì)各種火車服務(wù)的最大擔(dān)憂。例如,商務(wù)旅客對(duì)火車上人滿為患感到不滿意,而那些乘坐火車旅行的人希望停車位更便利一些,放置行李和自行車的空間更大一些。

微軟的Power BI業(yè)務(wù)分析服務(wù)和Salesforce.com的Tableau均提供NLP自己生成語(yǔ)言對(duì)結(jié)果進(jìn)行解釋的功能。當(dāng)用戶可以輸入有關(guān)其數(shù)據(jù)的問(wèn)題后,這些服務(wù)可以提供相應(yīng)的圖表或自動(dòng)分析。

02

了解企業(yè)知道什么

NLP可幫助企業(yè)了解其已經(jīng)知道了哪些知識(shí)。ABBY的合同文本分析、Exigent的合同管理解決方案、Seal的合同發(fā)現(xiàn)與分析等由AI支持的專用工具可從合同中提取條款和期限,從而幫助企業(yè)了解自己承諾了哪些內(nèi)容。XML聯(lián)合發(fā)明者Jean Paoli創(chuàng)立了一家名為Docugami的初創(chuàng)企業(yè)。該公司成立的初衷是讓結(jié)構(gòu)化程度較低的文檔實(shí)現(xiàn)這一功能。

Paoli 說(shuō):“企業(yè)的數(shù)據(jù)只有15%被存儲(chǔ)在了數(shù)據(jù)庫(kù)當(dāng)中。我們?cè)诮涣髦卸紩?huì)用到文本、電子郵件和文檔。結(jié)構(gòu)化數(shù)據(jù)庫(kù)不會(huì)告訴我們問(wèn)題的真相,但是文檔會(huì)。對(duì)于像商業(yè)房地產(chǎn)這類的文件密集型業(yè)務(wù),一線業(yè)務(wù)用戶平均每周要撰寫15份租賃協(xié)議。每到周一,經(jīng)理會(huì)發(fā)出一連串提問(wèn):‘你做了哪些工作?截止日期是哪天?有沒(méi)有談到停車位的問(wèn)題?他們是否希望我們保留所有權(quán)?’一旦簽署文件,公司就必須要遵守,不幸的是這些信息往往會(huì)被淹沒(méi)在大量的文件當(dāng)中。”

無(wú)論是星巴克要求房東就租賃協(xié)議重新展開(kāi)談判,還是餐廳需要了解其保險(xiǎn)政策的內(nèi)容,許多事情現(xiàn)如今已經(jīng)變得舉足輕重。而這些“隱性數(shù)據(jù)”可以取代星期一上午的例會(huì),提高業(yè)務(wù)敏捷性。

Paoli說(shuō):“由于企業(yè)目前正在重新考慮自己的業(yè)務(wù)模式,這時(shí)使用NLP來(lái)分析業(yè)務(wù)文檔就變得尤為重要。企業(yè)可能不得不就所有的事情重新進(jìn)行談判,他們需要了解自己的義務(wù)和風(fēng)險(xiǎn)。”專業(yè)的服務(wù)公司Accenture就是這樣做的,他們通過(guò)NLP對(duì)100多萬(wàn)份合同進(jìn)行了分析,以了解自己的承諾和責(zé)任。

對(duì)于那些沒(méi)有自己NLP專家的企業(yè)而言,Docugami的SaaS產(chǎn)品是一個(gè)不錯(cuò)的選擇,其有30個(gè)示例文檔可供使用,并且可自動(dòng)從存放業(yè)務(wù)文檔的文件夾中進(jìn)行選擇,在30分鐘內(nèi)即可向創(chuàng)建文檔的業(yè)務(wù)用戶進(jìn)行反饋。隨后Docugami會(huì)將信息存入數(shù)據(jù)庫(kù)中,以幫助創(chuàng)建可通過(guò)瀏覽器查閱的儀表板,或是與Excel和Tableau進(jìn)行集成。

03

讓會(huì)議傳遞的信息變得更加明確

雖然一些企業(yè)的電話已按要求被記錄下來(lái),但是卻很少被分析,問(wèn)題的癥結(jié)在于從會(huì)議和對(duì)話中提取有用信息是一項(xiàng)繁重的人力勞動(dòng)。又有多少企業(yè)會(huì)通過(guò)會(huì)議上的發(fā)言內(nèi)容了解項(xiàng)目進(jìn)度或截止日期呢?

盡管員工花在會(huì)議上的時(shí)間在30%,甚至更多,但是會(huì)議中的大量信息卻無(wú)法像其他的業(yè)務(wù)數(shù)據(jù)那樣被捕獲。PowerPoint幻燈片和Teams會(huì)議中的實(shí)時(shí)字幕以及Azure Streams廣播平臺(tái)中可搜索的實(shí)時(shí)會(huì)議轉(zhuǎn)錄功能也都可以不需要人工記錄就可以提供頗具效率的轉(zhuǎn)錄。

除了圖像識(shí)別外,這些平臺(tái)未來(lái)還會(huì)使用轉(zhuǎn)錄和文檔分析總結(jié)提煉會(huì)議中的主要內(nèi)容,以便團(tuán)隊(duì)在會(huì)議結(jié)束后的后續(xù)工作中能夠查閱這些內(nèi)容。在過(guò)去15年中,橋水基金(Bridgewater Associates)記錄了所有的內(nèi)部會(huì)議,所有員工都可查閱這些會(huì)議記錄。盡管如此,還是很少有人去翻閱,其中一個(gè)原因是這些記錄難以被檢索到。為了解決這個(gè)問(wèn)題,橋水基金開(kāi)始使用Otter提取這些會(huì)議內(nèi)容。

具備語(yǔ)音轉(zhuǎn)文本功能的Azure Cognitive Services API不久將開(kāi)通轉(zhuǎn)錄上傳至OneDrive上的音頻文件的功能。雖然使用這些API的轉(zhuǎn)錄應(yīng)用程序已經(jīng)被開(kāi)發(fā)人員開(kāi)發(fā)出來(lái)了,但是如果直接將這一功能內(nèi)置到平臺(tái)中無(wú)疑可以得到更廣泛的使用。

04

分析與準(zhǔn)確性

雖然用戶可以通過(guò)時(shí)間軸的方式在內(nèi)容中進(jìn)行檢索,但是NLP的最佳使用方法并不是一字不差的完整轉(zhuǎn)錄。

Otter會(huì)將提取的標(biāo)簽作為摘要,以方便用戶了解文本中的內(nèi)容。自動(dòng)編寫的文檔摘要正在在成為工具,例如IBM Watson的自然語(yǔ)言理解。雖然Otter也在研發(fā),但是用戶仍必須要記住相關(guān)內(nèi)容才能查閱。NLP未來(lái)會(huì)加入會(huì)議分析功能。例如同一主題是否會(huì)被繼續(xù)討論,截止日期是否會(huì)被不斷推遲等等。

轉(zhuǎn)錄的準(zhǔn)確性是這一切的生命線,而準(zhǔn)確性的衡量非常復(fù)雜。雖然NLP系統(tǒng)在許多方面的準(zhǔn)確性已經(jīng)可與人類媲美,但是它們還是存在短板,例如無(wú)法對(duì)你還未著手做的工作進(jìn)行準(zhǔn)確比較,沒(méi)有一個(gè)統(tǒng)一的衡量標(biāo)準(zhǔn)。

微軟的研究人員稱:“雖然如今多模式系統(tǒng)中融合了各種功能,但是整合在一起就不一定可行了。例如,用戶可能會(huì)發(fā)現(xiàn)對(duì)話系統(tǒng)很出色,但是將語(yǔ)音、語(yǔ)言和視覺(jué)和文檔整合在一起,那么對(duì)話系統(tǒng)并不能真正發(fā)揮很好的作用。”

錄音質(zhì)量、背景噪音、口音以及談話內(nèi)容都會(huì)影響到轉(zhuǎn)錄的準(zhǔn)確性。如果背景安靜且說(shuō)話的人母語(yǔ)為英語(yǔ),那么準(zhǔn)確率會(huì)在95%以上。在實(shí)際使用中雖然轉(zhuǎn)錄會(huì)有一些作用,但是距離完美還相差甚遠(yuǎn)。

用戶在使用NLP之前就要明確自己能夠接受的錯(cuò)誤率是多大。此外,要想能夠被準(zhǔn)確識(shí)別,用戶還應(yīng)精心準(zhǔn)備好行業(yè)術(shù)語(yǔ)、產(chǎn)品名稱、員工姓名以及相應(yīng)的概念和相關(guān)詞匯。無(wú)論哪種NLP工具都不例外。

微軟的研究人員稱:“我們的期望值不能太高。人工智能雖然不能解決所有的問(wèn)題,但是自然語(yǔ)言工具卻可以改善許多問(wèn)題。如何有效地將信息組織起來(lái),從而從文檔中挖掘出更多的信息,如何讓專業(yè)人員進(jìn)行指導(dǎo)才是當(dāng)今企業(yè)面臨的最大問(wèn)題。”

作者:本文作者Bob Violino為Computerworld、CIO、CSO、InfoWorld和Network World等網(wǎng)站的特約撰稿人。

編譯:陳琳華

原文網(wǎng)址https://www.computerworld.com/article/3541521/6-best-practices-for-business-data-visualization.html

THEEND

最新評(píng)論(評(píng)論僅代表用戶觀點(diǎn))

更多
暫無(wú)評(píng)論