當(dāng)前，全球科技創(chuàng)新進(jìn)入空前密集活躍期，AI等新興技術(shù)進(jìn)入發(fā)展快車道。其中，生成式AI被視作實現(xiàn)人類野心的加速器，正逐漸成為各行各業(yè)的新寵，各行業(yè)企業(yè)都在嘗試使用大模型來驅(qū)動自身業(yè)務(wù)的長效增長，力求在商業(yè)環(huán)境中贏得競爭優(yōu)勢。對生成式AI應(yīng)用有一定訴求的企業(yè)客戶，該如何選擇合作伙伴,又該如何搭上這列紅利專車？基于此，賽迪網(wǎng)對南棲仙策CTO秦熔均進(jìn)行了專訪，通過聆聽行業(yè)翹楚深度解讀，幫助企業(yè)捕捉發(fā)展新機(jī)遇，明晰大模型技術(shù)落地應(yīng)用的具體場景，譜寫第二增長曲線。
【人物介紹】
秦熔均，南京大學(xué)計算機(jī)科學(xué)與技術(shù)系博士，師從南京大學(xué)俞揚(yáng)教授，主攻博弈與強(qiáng)化學(xué)習(xí)算法和理論。于2018年9月聯(lián)合創(chuàng)立南棲仙策（南京）科技有限公司，擔(dān)任CTO，負(fù)責(zé)面向現(xiàn)實業(yè)務(wù)的決策技術(shù)（離線強(qiáng)化學(xué)習(xí)）研發(fā)及落地應(yīng)用技術(shù)探索，并領(lǐng)導(dǎo)公司團(tuán)隊研發(fā)了一套可用于多種實際業(yè)務(wù)場景的通用智能決策算法，基于該算法的通用性，智能決策技術(shù)目前已在工業(yè)制造、工業(yè)控制、促銷等多種現(xiàn)實場景中落地驗證，相比現(xiàn)實場景現(xiàn)有基線均有顯著的提升。同時，為了促進(jìn)智能決策落地應(yīng)用，他也提出了一套開源離線強(qiáng)化學(xué)習(xí)基準(zhǔn)庫。2021年，他分別入選了福布斯中國U30s和胡潤中國U30s創(chuàng)業(yè)領(lǐng)袖榜單。
賽迪網(wǎng)：能否請您簡單介紹一下您的研究經(jīng)歷，另外，是什么促使您深入研究這些領(lǐng)域的？
南棲仙策CTO秦熔均：我的研究經(jīng)歷主要聚焦在強(qiáng)化學(xué)習(xí)這個大方向，尤其是動態(tài)環(huán)境下的強(qiáng)化學(xué)習(xí)及其應(yīng)用，通過在強(qiáng)化學(xué)習(xí)調(diào)整優(yōu)化策略，以應(yīng)對環(huán)境變化帶來的挑戰(zhàn)。2016年，AlphaGo圍棋AI與圍棋世界冠軍、職業(yè)九段棋手李世石進(jìn)行圍棋人機(jī)大戰(zhàn)并獲得勝利，使強(qiáng)化學(xué)習(xí)引起了極大的關(guān)注。強(qiáng)化學(xué)習(xí)是在給定的環(huán)境下，讓機(jī)器自己學(xué)習(xí)如何通過選擇一系列動作，來達(dá)成長期累計收益最大化的目標(biāo)。從本質(zhì)上說，這種算法學(xué)習(xí)的是策略模型，它在很多游戲中都有運(yùn)用。也是從這個時候起，我對這個研究方向和課題產(chǎn)生了極大的興趣。進(jìn)入南京大學(xué)后，主攻博弈與強(qiáng)化學(xué)習(xí)算法和理論，早期基本是在做一些相關(guān)算法和理論的研究。2018年開始，我與導(dǎo)師聯(lián)合創(chuàng)業(yè)，想把強(qiáng)化學(xué)習(xí)的算法和理論應(yīng)用到不同場景中去，希望利用智能決策的這種技術(shù)和力量，幫助企業(yè)進(jìn)行數(shù)字化改造，實現(xiàn)智能化管理。
賽迪網(wǎng)：您認(rèn)為基于人工智能的控制與傳統(tǒng)控制相比具有哪些區(qū)別？在哪些行業(yè)的應(yīng)用最具潛力和影響力？
南棲仙策CTO秦熔均：基于人工智能的控制與傳統(tǒng)控制相比，它們的最終目標(biāo)是一致的，都是要把整個系統(tǒng)控制的更好。人工智能結(jié)合進(jìn)來以后，有幾個結(jié)合的點：一是用人工智能里面偏監(jiān)督學(xué)習(xí)一類的技術(shù)，去做一些預(yù)測性維護(hù)，對設(shè)備可能會出現(xiàn)的一些問題，提前預(yù)警并進(jìn)行修理。其次，還有一些和控制相關(guān)的偏預(yù)測一類的技術(shù)，如圖像識別。另外，還有直接用人工智能方法去做控制的，比如直接用強(qiáng)化學(xué)習(xí)去控制機(jī)械臂或者一些特別復(fù)雜的關(guān)節(jié)。這些技術(shù)和傳統(tǒng)的控制比起來，區(qū)別主要體現(xiàn)在以下幾個方面：我們所處的環(huán)境是高動態(tài)的，如果用人工智能方法去實現(xiàn)控制目標(biāo)，就需要它對環(huán)境具有相應(yīng)的適應(yīng)能力。人工智能的模型依賴于大量的數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化，不論是通過一批歷史數(shù)據(jù)來訓(xùn)練，還是通過高保真的環(huán)境來訓(xùn)練，它都是通過訓(xùn)練得到的模型。如果我們的訓(xùn)練環(huán)境和實際應(yīng)用的環(huán)境產(chǎn)生了差異，這就會對這個模型的效果產(chǎn)生一定的影響。如果在算法端，特別是基于人工智能控制的情況下，我們通過對算法做一些修改，就有可能能夠達(dá)到更好的效果。而在環(huán)境比較確定沒有太多隨機(jī)因素的影響下，人工智能的控制與傳統(tǒng)控制二者的效果差不多，甚至傳統(tǒng)控制的方法會更簡潔、原理更清晰。如果環(huán)境里面存在諸多不確定因素，這種時候基于人工智能的控制就會有更好的處理能力?，F(xiàn)在人工智能的這些方法，會有一個比較大的缺陷，深度神經(jīng)網(wǎng)絡(luò)作為當(dāng)前人工智能應(yīng)用的首選模型，又被稱為“黑盒”模型，多層隱藏結(jié)構(gòu)，數(shù)據(jù)矢量化等因素讓一些行業(yè)對大模型持觀望態(tài)度，因為它不像傳統(tǒng)控制，所有的機(jī)理都是明確的。而目前，在工業(yè)控制、化工和制造業(yè)等相關(guān)行業(yè)里面，基于人工智能的控制已經(jīng)取得了顯著的成效，為企業(yè)發(fā)展賦能添力。
賽迪網(wǎng)：您認(rèn)為推動智能控制進(jìn)一步發(fā)展的關(guān)鍵因素是什么？
南棲仙策CTO秦熔均：智能控制作為人工智能領(lǐng)域的一個關(guān)鍵問題，面臨諸多挑戰(zhàn)。我們在講智能化的時候，其實需要兩個前提，就是信息化和數(shù)字化。舉例來說，我們原本的系統(tǒng)，可能需要利用自動化裝置，來實現(xiàn)自動化控制。大多數(shù)情況下我們需要獲取一些數(shù)據(jù)，通過收集一兩天或者一兩周的環(huán)境運(yùn)行數(shù)據(jù)，我們就有希望來對系統(tǒng)進(jìn)行改造。就目前而言，一個非常關(guān)鍵的因素，就是當(dāng)前數(shù)字化整體水平還不那么高，有些環(huán)境下無法做到全系統(tǒng)、全流程的完全自動化控制的方式。如果我們做完智能模型以后再去部署，可能會遇到一些比較麻煩的人為因素問題，如果有些控制需要人工去實施，就可能會稍微影響效率。在短期未來，比較理想的情況是能讓智能模型去控制，由人來進(jìn)行監(jiān)督，這樣可以減輕操作者的勞動強(qiáng)度，提高勞動效率。另一個關(guān)鍵因素是已經(jīng)具備信息化和數(shù)字化能力以后，需要什么樣的數(shù)據(jù)，能用什么樣的數(shù)據(jù)，這將是面臨的一個比較大的數(shù)據(jù)方面挑戰(zhàn)。先說“需要什么數(shù)據(jù)”這個問題，如果沒有做好前期規(guī)劃，我們需要把所有的數(shù)據(jù)都記錄下來，事后再去做分析，帶來額外存儲開銷和工作量。另一個問題是“能用什么樣的數(shù)據(jù)”，它從某種意義上限制了我們所能采用的人工智能算法。很多時候我們面臨的情況是數(shù)據(jù)量有限，數(shù)據(jù)覆蓋范圍小，這種數(shù)據(jù)條件對于算法能力的要求極高?；跀?shù)據(jù)驅(qū)動的決策，其目的是希望比以前做的更好，這就需要去嘗試做一些歷史數(shù)據(jù)上沒有的操作，怎么從沒有見過的數(shù)據(jù)上去推演，或者在數(shù)據(jù)少以及沒有新數(shù)據(jù)支撐的情況下，去做一些新的決策，這是在智能算法方面面臨的一個關(guān)鍵挑戰(zhàn)。
賽迪網(wǎng)：現(xiàn)在大模型很火熱，您覺得大模型和工業(yè)在哪些地方可以結(jié)合？
南棲仙策CTO秦熔均：“大模型熱”已經(jīng)延伸到工業(yè)領(lǐng)域，提到大模型就不得不提多模態(tài)，這也是近年來人工智能領(lǐng)域的熱點話題。在人工智能領(lǐng)域多模態(tài)意味著算法可以處理不止一個模態(tài)的數(shù)據(jù)，可以在文本、圖像、音頻等，多種類型的數(shù)據(jù)中理解、轉(zhuǎn)譯、生成，有效提高大模型處理多種信息的準(zhǔn)確性和魯棒性。大模型和工業(yè)直接結(jié)合應(yīng)用，現(xiàn)在看具有一定的挑戰(zhàn)。因為傳統(tǒng)工業(yè)里面，它可用的計算資源較少，對部署大模型具有很大挑戰(zhàn)。部署大模型在工業(yè)里面有一些比較普遍相通的要求，我們覺得大模型很酷，有很強(qiáng)的能力，是因為它能夠自動處理非常多的任務(wù)，在一個新的任務(wù)下，可能不需要重新訓(xùn)練，就能夠直接用起來，那么我們希望在工業(yè)領(lǐng)域也能夠有這樣的能力。我們來看大模型的本質(zhì)，先忽略這個模型的體積大小問題，它是在很多不同場景下預(yù)訓(xùn)練得出來的模型，如果我們能夠在現(xiàn)在的應(yīng)用場景里面部署相對小一點、能夠適用更多范圍的控制模型，那在工業(yè)領(lǐng)域?qū)泻芏嘧饔?。比如，我們希望在A水廠訓(xùn)練的這個模型拿到B水廠，盡管可能有些設(shè)備的響應(yīng)是不一樣的，需要控制的數(shù)量也不盡相同，在這種情況下也能直接用并達(dá)到類似的控制效果。所以大模型的這種框架和范式具有很好的啟發(fā)作用，能夠讓我們?nèi)プ鲆恍╊愃祁A(yù)訓(xùn)練模型用在不同的場景下工作。據(jù)我非常有限的了解，目前大模型和工業(yè)相結(jié)合主要在機(jī)器人相關(guān)的一些工業(yè)領(lǐng)域應(yīng)用，包括無人車、物流或者機(jī)械臂控制等。如果是再傳統(tǒng)一點的，具體到某個生產(chǎn)環(huán)節(jié)和各種生產(chǎn)線上面，大模型還不太方便部署，這個地方可能用到的是大模型思維，通過運(yùn)用這種預(yù)訓(xùn)練模型能夠在很多任務(wù)上表現(xiàn)的很好的思維框架去為整個行業(yè)賦能。
賽迪網(wǎng)：能否舉例說明貴公司實際成功應(yīng)用案例，在應(yīng)用過程中遇到過哪些困難和挑戰(zhàn)，又是如何解決的？
南棲仙策CTO秦熔均：很早之前我們就開始做落地應(yīng)用，最開始是和互聯(lián)網(wǎng)的一些行業(yè)進(jìn)行合作，通過做用戶建模，為他們的業(yè)務(wù)做輔助支撐。因為要把智能決策特別是以強(qiáng)化學(xué)習(xí)為主的這些方法用起來，它的一個關(guān)鍵限制因素就是現(xiàn)實環(huán)境里沒有對應(yīng)的仿真器來支撐強(qiáng)化學(xué)習(xí)這種基于大量試錯的算法。在工業(yè)領(lǐng)域深耕以后，我們發(fā)現(xiàn)在工業(yè)領(lǐng)域去做這件事情，面臨的挑戰(zhàn)更大，工業(yè)領(lǐng)域的數(shù)據(jù)量遠(yuǎn)遠(yuǎn)少于互聯(lián)網(wǎng)行業(yè)，我們就需要解決如何在很少數(shù)據(jù)量的情況下去做好這件事情。
2020年，我們抱著試一試的心態(tài)和一家車企展開了合作，幫助他們在不同駕駛工況下減排，使汽車排放符合相關(guān)標(biāo)準(zhǔn)要求，并且降得越低越好。這里面可參考數(shù)據(jù)非常少，僅有小幾十條數(shù)據(jù)，我們就用很少的數(shù)據(jù)去幫助他們做具體的減排的應(yīng)用。在前期過程中我們遇到了很多困難和挑戰(zhàn)，主要是來自業(yè)務(wù)端，我們本身的研究方向主要偏向于人工智能，對工業(yè)里面的具體業(yè)務(wù)細(xì)節(jié)的了解程度不夠深入。所以前期我們花了長達(dá)半年的時間，都是去匹配具體需求和對業(yè)務(wù)進(jìn)行一定程度的理解。在具體的實施過程中，首先這是一個比較長軌跡決策的問題，大概有1800步，中間會不斷地返回狀態(tài)，然后根據(jù)這些狀態(tài)去執(zhí)行動作，執(zhí)行1800個動作以后，才能得到最后具體的結(jié)果。這其實是非常具有挑戰(zhàn)的任務(wù)，我們的算法工程師基本上每天都在調(diào)試，持續(xù)了將近三到四個月的時間，當(dāng)我們拿著最終調(diào)試的結(jié)果去進(jìn)行第一次實驗的時候，就達(dá)到了汽車尾氣排放標(biāo)準(zhǔn)。后來，我們業(yè)務(wù)范圍逐漸聚焦到水務(wù)和高精尖裝備控制。水務(wù)對我們而言相當(dāng)于一個新的行業(yè)，但核心還是去做工業(yè)控制，主要是對一些設(shè)備儀器里面的組件去進(jìn)行調(diào)整，我們的這一套解決方案中的核心算法是通用的，即基于構(gòu)建虛擬環(huán)境，也就是建一個業(yè)務(wù)場景的模型，然后從中尋找最優(yōu)的決策策略，最后再應(yīng)用到具體的業(yè)務(wù)場景中去。在新的行業(yè)里面的挑戰(zhàn)，主要是對業(yè)務(wù)的理解。有的時候碰到一些客戶對我們的技術(shù)不太理解，我們就需要額外花一些時間去和客戶進(jìn)行溝通，盡管我們已經(jīng)有一些成功的落地案例及對應(yīng)的效果展示。業(yè)務(wù)理解到位以后，在開展工作的時候，還會面臨一些數(shù)據(jù)上困難以及業(yè)務(wù)具體實施過程中特定場景下帶來的一些不確定性的新挑戰(zhàn)。目前，在水務(wù)行業(yè)我們是國內(nèi)第一家能夠去做污水全流程控制的企業(yè)，已在江蘇附近的一些水廠做了部署，實際應(yīng)用效果不錯，幫助他們減少了不少能耗。
賽迪網(wǎng)：您對自己未來在這些領(lǐng)域的研究和發(fā)展有什么展望？
南棲仙策CTO秦熔均：工業(yè)的智能化是大趨勢，我本身的研究方向就是在這種動態(tài)環(huán)境下更好的去做智能決策方面的研究。環(huán)境是動態(tài)變化的，不是一成不變的，變化的邊界也不清楚。結(jié)合我以往的研究生階段的經(jīng)歷，我可能會結(jié)合具體的業(yè)務(wù)場景在算法上面進(jìn)行深入的打磨，進(jìn)一步去抽象出來一些問題，希望能夠在更多的場景中運(yùn)用這樣一套比較通用的方法，至少在一個行業(yè)里面，要有一套這樣的方法，能夠去解決問題。目前這個領(lǐng)域我們認(rèn)為非常符合國家未來發(fā)展的方向和趨勢，相關(guān)政策的出臺利好整個行業(yè)，借此我們希望我國的工業(yè)能夠盡快完成升級，實現(xiàn)從信息化到數(shù)字化，再向未來的智能化方向邁進(jìn)。
結(jié)語：隨著數(shù)字化加速，企業(yè)越來越注重大數(shù)據(jù)對決策的支持，智能決策已成為企業(yè)數(shù)字化轉(zhuǎn)型中的必選方案。價值驅(qū)動下，智能決策擁有光明的發(fā)展前景，未來將持續(xù)向“應(yīng)用深水區(qū)”邁進(jìn)，擁有更大的展示舞臺。
