當(dāng)前,全球科技創(chuàng)新進(jìn)入空前密集活躍期,AI等新興技術(shù)進(jìn)入發(fā)展快車道。其中,生成式AI被視作實現(xiàn)人類野心的加速器,正逐漸成為各行各業(yè)的新寵,各行業(yè)企業(yè)都在嘗試使用大模型來驅(qū)動自身業(yè)務(wù)的長效增長,力求在商業(yè)環(huán)境中贏得競爭優(yōu)勢。對生成式AI應(yīng)用有一定訴求的企業(yè)客戶,該如何選擇合作伙伴,又該如何搭上這列紅利專車?基于此,賽迪網(wǎng)對南棲仙策CTO秦熔均進(jìn)行了專訪,通過聆聽行業(yè)翹楚深度解讀,幫助企業(yè)捕捉發(fā)展新機(jī)遇,明晰大模型技術(shù)落地應(yīng)用的具體場景,譜寫第二增長曲線。
【人物介紹】
秦熔均,南京大學(xué)計算機(jī)科學(xué)與技術(shù)系博士,師從南京大學(xué)俞揚(yáng)教授,主攻博弈與強(qiáng)化學(xué)習(xí)算法和理論。于2018年9月聯(lián)合創(chuàng)立南棲仙策(南京)科技有限公司,擔(dān)任CTO,負(fù)責(zé)面向現(xiàn)實業(yè)務(wù)的決策技術(shù)(離線強(qiáng)化學(xué)習(xí))研發(fā)及落地應(yīng)用技術(shù)探索,并領(lǐng)導(dǎo)公司團(tuán)隊研發(fā)了一套可用于多種實際業(yè)務(wù)場景的通用智能決策算法,基于該算法的通用性,智能決策技術(shù)目前已在工業(yè)制造、工業(yè)控制、促銷等多種現(xiàn)實場景中落地驗證,相比現(xiàn)實場景現(xiàn)有基線均有顯著的提升。同時,為了促進(jìn)智能決策落地應(yīng)用,他也提出了一套開源離線強(qiáng)化學(xué)習(xí)基準(zhǔn)庫。2021年,他分別入選了福布斯中國U30s和胡潤中國U30s創(chuàng)業(yè)領(lǐng)袖榜單。
賽迪網(wǎng):能否請您簡單介紹一下您的研究經(jīng)歷,另外,是什么促使您深入研究這些領(lǐng)域的?
南棲仙策CTO秦熔均:我的研究經(jīng)歷主要聚焦在強(qiáng)化學(xué)習(xí)這個大方向,尤其是動態(tài)環(huán)境下的強(qiáng)化學(xué)習(xí)及其應(yīng)用,通過在強(qiáng)化學(xué)習(xí)調(diào)整優(yōu)化策略,以應(yīng)對環(huán)境變化帶來的挑戰(zhàn)。2016年,AlphaGo圍棋AI與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)并獲得勝利,使強(qiáng)化學(xué)習(xí)引起了極大的關(guān)注。強(qiáng)化學(xué)習(xí)是在給定的環(huán)境下,讓機(jī)器自己學(xué)習(xí)如何通過選擇一系列動作,來達(dá)成長期累計收益最大化的目標(biāo)。從本質(zhì)上說,這種算法學(xué)習(xí)的是策略模型,它在很多游戲中都有運(yùn)用。也是從這個時候起,我對這個研究方向和課題產(chǎn)生了極大的興趣。進(jìn)入南京大學(xué)后,主攻博弈與強(qiáng)化學(xué)習(xí)算法和理論,早期基本是在做一些相關(guān)算法和理論的研究。2018年開始,我與導(dǎo)師聯(lián)合創(chuàng)業(yè),想把強(qiáng)化學(xué)習(xí)的算法和理論應(yīng)用到不同場景中去,希望利用智能決策的這種技術(shù)和力量,幫助企業(yè)進(jìn)行數(shù)字化改造,實現(xiàn)智能化管理。
賽迪網(wǎng):您認(rèn)為基于人工智能的控制與傳統(tǒng)控制相比具有哪些區(qū)別?在哪些行業(yè)的應(yīng)用最具潛力和影響力?
南棲仙策CTO秦熔均:基于人工智能的控制與傳統(tǒng)控制相比,它們的最終目標(biāo)是一致的,都是要把整個系統(tǒng)控制的更好。人工智能結(jié)合進(jìn)來以后,有幾個結(jié)合的點:一是用人工智能里面偏監(jiān)督學(xué)習(xí)一類的技術(shù),去做一些預(yù)測性維護(hù),對設(shè)備可能會出現(xiàn)的一些問題,提前預(yù)警并進(jìn)行修理。其次,還有一些和控制相關(guān)的偏預(yù)測一類的技術(shù),如圖像識別。另外,還有直接用人工智能方法去做控制的,比如直接用強(qiáng)化學(xué)習(xí)去控制機(jī)械臂或者一些特別復(fù)雜的關(guān)節(jié)。這些技術(shù)和傳統(tǒng)的控制比起來,區(qū)別主要體現(xiàn)在以下幾個方面:我們所處的環(huán)境是高動態(tài)的,如果用人工智能方法去實現(xiàn)控制目標(biāo),就需要它對環(huán)境具有相應(yīng)的適應(yīng)能力。人工智能的模型依賴于大量的數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化,不論是通過一批歷史數(shù)據(jù)來訓(xùn)練,還是通過高保真的環(huán)境來訓(xùn)練,它都是通過訓(xùn)練得到的模型。如果我們的訓(xùn)練環(huán)境和實際應(yīng)用的環(huán)境產(chǎn)生了差異,這就會對這個模型的效果產(chǎn)生一定的影響。如果在算法端,特別是基于人工智能控制的情況下,我們通過對算法做一些修改,就有可能能夠達(dá)到更好的效果。而在環(huán)境比較確定沒有太多隨機(jī)因素的影響下,人工智能的控制與傳統(tǒng)控制二者的效果差不多,甚至傳統(tǒng)控制的方法會更簡潔、原理更清晰。如果環(huán)境里面存在諸多不確定因素,這種時候基于人工智能的控制就會有更好的處理能力?,F(xiàn)在人工智能的這些方法,會有一個比較大的缺陷,深度神經(jīng)網(wǎng)絡(luò)作為當(dāng)前人工智能應(yīng)用的首選模型,又被稱為“黑盒”模型,多層隱藏結(jié)構(gòu),數(shù)據(jù)矢量化等因素讓一些行業(yè)對大模型持觀望態(tài)度,因為它不像傳統(tǒng)控制,所有的機(jī)理都是明確的。而目前,在工業(yè)控制、化工和制造業(yè)等相關(guān)行業(yè)里面,基于人工智能的控制已經(jīng)取得了顯著的成效,為企業(yè)發(fā)展賦能添力。
賽迪網(wǎng):您認(rèn)為推動智能控制進(jìn)一步發(fā)展的關(guān)鍵因素是什么?
南棲仙策CTO秦熔均:智能控制作為人工智能領(lǐng)域的一個關(guān)鍵問題,面臨諸多挑戰(zhàn)。我們在講智能化的時候,其實需要兩個前提,就是信息化和數(shù)字化。舉例來說,我們原本的系統(tǒng),可能需要利用自動化裝置,來實現(xiàn)自動化控制。大多數(shù)情況下我們需要獲取一些數(shù)據(jù),通過收集一兩天或者一兩周的環(huán)境運(yùn)行數(shù)據(jù),我們就有希望來對系統(tǒng)進(jìn)行改造。就目前而言,一個非常關(guān)鍵的因素,就是當(dāng)前數(shù)字化整體水平還不那么高,有些環(huán)境下無法做到全系統(tǒng)、全流程的完全自動化控制的方式。如果我們做完智能模型以后再去部署,可能會遇到一些比較麻煩的人為因素問題,如果有些控制需要人工去實施,就可能會稍微影響效率。在短期未來,比較理想的情況是能讓智能模型去控制,由人來進(jìn)行監(jiān)督,這樣可以減輕操作者的勞動強(qiáng)度,提高勞動效率。另一個關(guān)鍵因素是已經(jīng)具備信息化和數(shù)字化能力以后,需要什么樣的數(shù)據(jù),能用什么樣的數(shù)據(jù),這將是面臨的一個比較大的數(shù)據(jù)方面挑戰(zhàn)。先說“需要什么數(shù)據(jù)”這個問題,如果沒有做好前期規(guī)劃,我們需要把所有的數(shù)據(jù)都記錄下來,事后再去做分析,帶來額外存儲開銷和工作量。另一個問題是“能用什么樣的數(shù)據(jù)”,它從某種意義上限制了我們所能采用的人工智能算法。很多時候我們面臨的情況是數(shù)據(jù)量有限,數(shù)據(jù)覆蓋范圍小,這種數(shù)據(jù)條件對于算法能力的要求極高?;跀?shù)據(jù)驅(qū)動的決策,其目的是希望比以前做的更好,這就需要去嘗試做一些歷史數(shù)據(jù)上沒有的操作,怎么從沒有見過的數(shù)據(jù)上去推演,或者在數(shù)據(jù)少以及沒有新數(shù)據(jù)支撐的情況下,去做一些新的決策,這是在智能算法方面面臨的一個關(guān)鍵挑戰(zhàn)。
賽迪網(wǎng):現(xiàn)在大模型很火熱,您覺得大模型和工業(yè)在哪些地方可以結(jié)合?
南棲仙策CTO秦熔均:“大模型熱”已經(jīng)延伸到工業(yè)領(lǐng)域,提到大模型就不得不提多模態(tài),這也是近年來人工智能領(lǐng)域的熱點話題。在人工智能領(lǐng)域多模態(tài)意味著算法可以處理不止一個模態(tài)的數(shù)據(jù),可以在文本、圖像、音頻等,多種類型的數(shù)據(jù)中理解、轉(zhuǎn)譯、生成,有效提高大模型處理多種信息的準(zhǔn)確性和魯棒性。大模型和工業(yè)直接結(jié)合應(yīng)用,現(xiàn)在看具有一定的挑戰(zhàn)。因為傳統(tǒng)工業(yè)里面,它可用的計算資源較少,對部署大模型具有很大挑戰(zhàn)。部署大模型在工業(yè)里面有一些比較普遍相通的要求,我們覺得大模型很酷,有很強(qiáng)的能力,是因為它能夠自動處理非常多的任務(wù),在一個新的任務(wù)下,可能不需要重新訓(xùn)練,就能夠直接用起來,那么我們希望在工業(yè)領(lǐng)域也能夠有這樣的能力。我們來看大模型的本質(zhì),先忽略這個模型的體積大小問題,它是在很多不同場景下預(yù)訓(xùn)練得出來的模型,如果我們能夠在現(xiàn)在的應(yīng)用場景里面部署相對小一點、能夠適用更多范圍的控制模型,那在工業(yè)領(lǐng)域?qū)泻芏嘧饔?。比如,我們希望在A水廠訓(xùn)練的這個模型拿到B水廠,盡管可能有些設(shè)備的響應(yīng)是不一樣的,需要控制的數(shù)量也不盡相同,在這種情況下也能直接用并達(dá)到類似的控制效果。所以大模型的這種框架和范式具有很好的啟發(fā)作用,能夠讓我們?nèi)プ鲆恍╊愃祁A(yù)訓(xùn)練模型用在不同的場景下工作。據(jù)我非常有限的了解,目前大模型和工業(yè)相結(jié)合主要在機(jī)器人相關(guān)的一些工業(yè)領(lǐng)域應(yīng)用,包括無人車、物流或者機(jī)械臂控制等。如果是再傳統(tǒng)一點的,具體到某個生產(chǎn)環(huán)節(jié)和各種生產(chǎn)線上面,大模型還不太方便部署,這個地方可能用到的是大模型思維,通過運(yùn)用這種預(yù)訓(xùn)練模型能夠在很多任務(wù)上表現(xiàn)的很好的思維框架去為整個行業(yè)賦能。
賽迪網(wǎng):能否舉例說明貴公司實際成功應(yīng)用案例,在應(yīng)用過程中遇到過哪些困難和挑戰(zhàn),又是如何解決的?
南棲仙策CTO秦熔均:很早之前我們就開始做落地應(yīng)用,最開始是和互聯(lián)網(wǎng)的一些行業(yè)進(jìn)行合作,通過做用戶建模,為他們的業(yè)務(wù)做輔助支撐。因為要把智能決策特別是以強(qiáng)化學(xué)習(xí)為主的這些方法用起來,它的一個關(guān)鍵限制因素就是現(xiàn)實環(huán)境里沒有對應(yīng)的仿真器來支撐強(qiáng)化學(xué)習(xí)這種基于大量試錯的算法。在工業(yè)領(lǐng)域深耕以后,我們發(fā)現(xiàn)在工業(yè)領(lǐng)域去做這件事情,面臨的挑戰(zhàn)更大,工業(yè)領(lǐng)域的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)少于互聯(lián)網(wǎng)行業(yè),我們就需要解決如何在很少數(shù)據(jù)量的情況下去做好這件事情。
2020年,我們抱著試一試的心態(tài)和一家車企展開了合作,幫助他們在不同駕駛工況下減排,使汽車排放符合相關(guān)標(biāo)準(zhǔn)要求,并且降得越低越好。這里面可參考數(shù)據(jù)非常少,僅有小幾十條數(shù)據(jù),我們就用很少的數(shù)據(jù)去幫助他們做具體的減排的應(yīng)用。在前期過程中我們遇到了很多困難和挑戰(zhàn),主要是來自業(yè)務(wù)端,我們本身的研究方向主要偏向于人工智能,對工業(yè)里面的具體業(yè)務(wù)細(xì)節(jié)的了解程度不夠深入。所以前期我們花了長達(dá)半年的時間,都是去匹配具體需求和對業(yè)務(wù)進(jìn)行一定程度的理解。在具體的實施過程中,首先這是一個比較長軌跡決策的問題,大概有1800步,中間會不斷地返回狀態(tài),然后根據(jù)這些狀態(tài)去執(zhí)行動作,執(zhí)行1800個動作以后,才能得到最后具體的結(jié)果。這其實是非常具有挑戰(zhàn)的任務(wù),我們的算法工程師基本上每天都在調(diào)試,持續(xù)了將近三到四個月的時間,當(dāng)我們拿著最終調(diào)試的結(jié)果去進(jìn)行第一次實驗的時候,就達(dá)到了汽車尾氣排放標(biāo)準(zhǔn)。后來,我們業(yè)務(wù)范圍逐漸聚焦到水務(wù)和高精尖裝備控制。水務(wù)對我們而言相當(dāng)于一個新的行業(yè),但核心還是去做工業(yè)控制,主要是對一些設(shè)備儀器里面的組件去進(jìn)行調(diào)整,我們的這一套解決方案中的核心算法是通用的,即基于構(gòu)建虛擬環(huán)境,也就是建一個業(yè)務(wù)場景的模型,然后從中尋找最優(yōu)的決策策略,最后再應(yīng)用到具體的業(yè)務(wù)場景中去。在新的行業(yè)里面的挑戰(zhàn),主要是對業(yè)務(wù)的理解。有的時候碰到一些客戶對我們的技術(shù)不太理解,我們就需要額外花一些時間去和客戶進(jìn)行溝通,盡管我們已經(jīng)有一些成功的落地案例及對應(yīng)的效果展示。業(yè)務(wù)理解到位以后,在開展工作的時候,還會面臨一些數(shù)據(jù)上困難以及業(yè)務(wù)具體實施過程中特定場景下帶來的一些不確定性的新挑戰(zhàn)。目前,在水務(wù)行業(yè)我們是國內(nèi)第一家能夠去做污水全流程控制的企業(yè),已在江蘇附近的一些水廠做了部署,實際應(yīng)用效果不錯,幫助他們減少了不少能耗。
賽迪網(wǎng):您對自己未來在這些領(lǐng)域的研究和發(fā)展有什么展望?
南棲仙策CTO秦熔均:工業(yè)的智能化是大趨勢,我本身的研究方向就是在這種動態(tài)環(huán)境下更好的去做智能決策方面的研究。環(huán)境是動態(tài)變化的,不是一成不變的,變化的邊界也不清楚。結(jié)合我以往的研究生階段的經(jīng)歷,我可能會結(jié)合具體的業(yè)務(wù)場景在算法上面進(jìn)行深入的打磨,進(jìn)一步去抽象出來一些問題,希望能夠在更多的場景中運(yùn)用這樣一套比較通用的方法,至少在一個行業(yè)里面,要有一套這樣的方法,能夠去解決問題。目前這個領(lǐng)域我們認(rèn)為非常符合國家未來發(fā)展的方向和趨勢,相關(guān)政策的出臺利好整個行業(yè),借此我們希望我國的工業(yè)能夠盡快完成升級,實現(xiàn)從信息化到數(shù)字化,再向未來的智能化方向邁進(jìn)。
結(jié)語:隨著數(shù)字化加速,企業(yè)越來越注重大數(shù)據(jù)對決策的支持,智能決策已成為企業(yè)數(shù)字化轉(zhuǎn)型中的必選方案。價值驅(qū)動下,智能決策擁有光明的發(fā)展前景,未來將持續(xù)向“應(yīng)用深水區(qū)”邁進(jìn),擁有更大的展示舞臺。