本文來(lái)自微信公眾號(hào)“硅星人Pro”，【作者】硅星人。
摘要：大模型應(yīng)用時(shí)代為企業(yè)提供了更多場(chǎng)景，但技術(shù)本身還是服務(wù)于最終創(chuàng)造出來(lái)的應(yīng)用價(jià)值。如何在控制成本的基礎(chǔ)上獲得最好的效果性能是企業(yè)需要解決的核心問(wèn)題。
在大語(yǔ)言模型蓬勃發(fā)展的今天，AI應(yīng)用落地已成為產(chǎn)業(yè)界關(guān)注的重點(diǎn)。在硅星人首屆AI創(chuàng)造者大會(huì)（ACC 2024）“重構(gòu)基礎(chǔ)設(shè)施：更開放的架構(gòu)與更聰明的Token”環(huán)節(jié)中，硅星人分析師周一笑與百度智能云應(yīng)用平臺(tái)部總經(jīng)理黃鋒就大模型應(yīng)用開發(fā)平臺(tái)、企業(yè)落地實(shí)踐等話題展開深入對(duì)話。作為百度智能云千帆AppBuilder的負(fù)責(zé)人，黃鋒分享了平臺(tái)建設(shè)經(jīng)驗(yàn)與企業(yè)應(yīng)用觀察。
以下為對(duì)話實(shí)錄整理：
周一笑：我剛才在下面查兩個(gè)數(shù)據(jù)，在百度指數(shù)和Google Trends上，我查了兩組關(guān)鍵字，第一組是AI或者大模型相關(guān)的關(guān)鍵詞，第二組是AI應(yīng)用或者是大模型應(yīng)用相關(guān)的關(guān)鍵詞，過(guò)去十二月的走勢(shì)，會(huì)發(fā)現(xiàn)第一組基本是持平的情況，第二組從今年開始會(huì)看到有一個(gè)明顯在往上走的趨勢(shì)，這其實(shí)也說(shuō)明大家越來(lái)越關(guān)注AI應(yīng)用落地相關(guān)的話題了。百度一直在號(hào)召大家卷應(yīng)用，不要卷模型，我們今天也邀請(qǐng)到百度智能云應(yīng)用平臺(tái)部總經(jīng)理黃鋒總來(lái)跟大家一起聊一聊，關(guān)于落地應(yīng)用的話題。
第一個(gè)問(wèn)題，千帆AppBuilder企業(yè)級(jí)大模型應(yīng)用開發(fā)平臺(tái)的核心功能是什么？和其他AI應(yīng)用開發(fā)平臺(tái)的差異點(diǎn)在哪里？
黃鋒：百度智能云整個(gè)大模型To B、To G是通過(guò)千帆平臺(tái)對(duì)外輸出的，千帆平臺(tái)里有兩個(gè)工具，千帆ModelBuilder和千帆AppBuilder。千帆ModelBuilder是做大模型開發(fā)的，千帆AppBuilder是做大模型應(yīng)用開發(fā)的，我自己在百度主要負(fù)責(zé)AppBuilder這個(gè)產(chǎn)品。今年做大模型應(yīng)用開發(fā)、Agent開發(fā)的平臺(tái)雨后春筍特別多。對(duì)于百度而言，從六七月份之后，我們對(duì)外講都是講企業(yè)級(jí)的定位。企業(yè)級(jí)和大家拿工具去學(xué)習(xí)去玩一玩是有天壤之別的。百度智能云過(guò)去十年，服務(wù)了許多互聯(lián)網(wǎng)客戶，還有傳統(tǒng)政企的客戶，我們更了解企業(yè)客戶對(duì)于平臺(tái)的要求，比方說(shuō)效果、效率、性能、穩(wěn)定可靠、開放性、動(dòng)態(tài)擴(kuò)縮容、可調(diào)可配等等問(wèn)題。我覺(jué)得如果沒(méi)有這些點(diǎn)，平臺(tái)開發(fā)出來(lái)的Agent是很難真正落地使用的。所以我們產(chǎn)品定位是企業(yè)級(jí)大模型應(yīng)用開發(fā)平臺(tái)。
周一笑：百度從最早搜索到后來(lái)AI，經(jīng)歷了AI的幾波浪潮，這種穿越周期的經(jīng)驗(yàn)，對(duì)于你們做平臺(tái)型的產(chǎn)品有幫助是什么？能不能用一些具體的產(chǎn)品決策和細(xì)節(jié)來(lái)講一講？
黃鋒：百度做這樣的平臺(tái)跟別的公司還是不一樣。我覺(jué)得在百度而言，最大的優(yōu)勢(shì)在于整個(gè)公司都是在AI戰(zhàn)略上是非常堅(jiān)決的。我們有文心系列各種尺寸的模型，有做大模型開發(fā)的千帆ModelBuilder這樣的平臺(tái)。包括算力納管上面我們有百舸平臺(tái)。有很多客戶需要的是完整的方案，在工具鏈層面上是可以借力的。
第二點(diǎn)是在百度內(nèi)部，去年廠長(zhǎng)就要求我們所有的產(chǎn)品都要重構(gòu)，包括網(wǎng)盤、文庫(kù)、搜索、文小言等等很多產(chǎn)品，其實(shí)在基于大模型做重構(gòu)，它們天然也需要工具上的支持。我們除了對(duì)外輸出之外，支持內(nèi)部的業(yè)務(wù)，也在很大程度上幫我們更快的打磨了產(chǎn)品的工具鏈的效果、性能、吞吐等等能力。這樣的能力再對(duì)外輸出，減少了中間打磨的時(shí)間。內(nèi)部業(yè)務(wù)線的要求是非常高的，對(duì)于大模型的理解，以及大模型到底在應(yīng)用層面如何落地，他們的認(rèn)知是跑得比較快的。
周一笑：內(nèi)部用好了，再拿出去服務(wù)客戶。
黃鋒：是這個(gè)邏輯。
周一笑：剛才聊了一些思路上的問(wèn)題，回到應(yīng)用開發(fā)這件事情上。傳統(tǒng)的AI應(yīng)用開發(fā)和現(xiàn)在的大模型應(yīng)用開發(fā)，兩者的區(qū)別是什么？這對(duì)于做平臺(tái)的挑戰(zhàn)是什么？
黃鋒：我14年加入百度，從16年開始做AI商業(yè)化，但是那個(gè)時(shí)候是小模型時(shí)代AI的商業(yè)化，其實(shí)一直到大模型爆發(fā)之前，我自己的感受是不管CV語(yǔ)言，還是傳統(tǒng)的小模型，它是有價(jià)值的。它也能解決客戶的很多業(yè)務(wù)問(wèn)題，但它最大的問(wèn)題在于泛化能力不夠。所以你的定制成本就會(huì)很高，比方說(shuō)前幾年，我做過(guò)工業(yè)能源行業(yè)一些CV應(yīng)用的場(chǎng)景。
例如面向安全生產(chǎn)，訓(xùn)一個(gè)安全帽識(shí)別的模型，想達(dá)到非常高的準(zhǔn)確率是很難的，其中有環(huán)境、角度等等因素。因此要想落地，投入到交付上定開調(diào)優(yōu)的成本非常高，總體來(lái)說(shuō)要么只能服務(wù)有錢的大客戶，規(guī)模起不來(lái)。要么你鋪開了，成本降不下去，利潤(rùn)就起不來(lái)。
這個(gè)時(shí)代其實(shí)都是這樣的，其他的這些友商你去看它的利潤(rùn)率，在小模型時(shí)代都是不太好過(guò)。我覺(jué)得大模型來(lái)了之后，最大的改變就是它的通用性，泛化能力比小模型時(shí)代強(qiáng)太多了。
但是在大模型時(shí)代，如何讓做應(yīng)用開發(fā)門檻能夠降得更低，效果能夠做得更好，能夠讓真正的價(jià)值交付最后的交付環(huán)節(jié)成本降得更低，還是在嘗試的過(guò)程中。今天而言，還沒(méi)有明確的答案。但這已經(jīng)是一個(gè)清晰可見的發(fā)展趨勢(shì)。
周一笑：從現(xiàn)有接觸到的企業(yè)客戶當(dāng)中有什么觀察可以和大家分享的？
黃鋒：前些年我們有一些大的項(xiàng)目的交付，應(yīng)用的定開由伙伴來(lái)交付。但是有很多客戶的項(xiàng)目，伙伴搞不定，還需要原廠的人去調(diào)優(yōu)。但過(guò)去一年多商業(yè)化過(guò)程中，伙伴能搞定的項(xiàng)目比例大幅度增加，只要我們把調(diào)優(yōu)的經(jīng)驗(yàn)方法論去輸出給伙伴，他們基本都能搞定。這一跡象已與過(guò)去小模型時(shí)代有所不同。
周一笑：?jiǎn)栆粋€(gè)相關(guān)的問(wèn)題，也是大家都關(guān)注的一個(gè)點(diǎn)。你們接觸的客戶在大模型預(yù)算占IT總預(yù)算的比例上有什么變化嗎？能反映這個(gè)趨勢(shì)嗎？
黃鋒：還是非常明顯的。從去年3月16日百度發(fā)布文心一言之后，我天天就跟各界客戶、合作伙伴、政府領(lǐng)導(dǎo)、媒體在交流。去年我的感觸，大家都只是聊，并沒(méi)有真正立項(xiàng)花錢去做，但是從去年Q4開始，這個(gè)勢(shì)頭明顯發(fā)生了變化。一直到今年出現(xiàn)明顯的爆發(fā)。市面上也有一些分析，今年上半年整個(gè)市場(chǎng)上面立項(xiàng)金額和數(shù)量遠(yuǎn)超去年的，今年還有兩個(gè)月，我自己感受到真正企業(yè)愿意花錢立項(xiàng)去做，這是非常明顯的。
周一笑：其實(shí)預(yù)算反映了企業(yè)的重視程度，最后想問(wèn)企業(yè)實(shí)際落地相關(guān)的問(wèn)題，從你們觀察來(lái)看，這一波企業(yè)實(shí)際應(yīng)用當(dāng)中，大模型更多是替代上一波AI的場(chǎng)景，比如說(shuō)客服，還是新的場(chǎng)景多一點(diǎn)？
黃鋒：我覺(jué)得兩者都有，像客服、內(nèi)搜，小模型時(shí)代也都有，只是大模型來(lái)了之后，它的意圖理解能力，歸納總結(jié)的能力會(huì)更強(qiáng)，我覺(jué)得這是一波技術(shù)升級(jí)帶來(lái)的舊市場(chǎng)的替換。更多爆發(fā)出來(lái)的是新場(chǎng)景，原來(lái)壓根兒做不了，現(xiàn)在能做了。比方說(shuō)我們看到的試題解析、法律咨詢助手，像現(xiàn)在AI手機(jī)特別火等等，因?yàn)槲覀冏銎脚_(tái)，所以看到各行各業(yè)新的場(chǎng)景還是很多的。我們也經(jīng)常會(huì)遇到一些，壓根兒想不到的客戶會(huì)拿大模型來(lái)干這個(gè)事兒。
周一笑：有沒(méi)有比較有意思的案例可以跟大家分享一下。
黃鋒：有一個(gè)群體叫ASD，他可能很難理解常人對(duì)話，但是大腦的想象力很豐富，這樣的孩子對(duì)于圖片的理解，包括他自己畫畫的能力很強(qiáng)，但是表達(dá)的能力比較弱。所以有一個(gè)開發(fā)者用我們的平臺(tái)搭了一個(gè)工作流，比如說(shuō)小孩畫了一張圖，大人很難理解他想表達(dá)什么，可以拍照讓大模型理解背后的意思。大人再說(shuō)一句話，通過(guò)大模型文生圖，再把圖片給孩子看。這樣就把圖作為一種信息交互的媒介去跟小孩溝通。
這樣的場(chǎng)景我自己肯定想不到，但是我們的開發(fā)者有一個(gè)公益組織，專門去幫助這樣的孩子，他們就有這樣的創(chuàng)意。他們也不是學(xué)計(jì)算機(jī)相關(guān)專業(yè)的，借助我們的平臺(tái)很容易把這個(gè)產(chǎn)品搭出來(lái)，并且確實(shí)是有用的。我們用這樣的平臺(tái)能夠把開發(fā)門檻降低，讓更多人發(fā)揮他們的創(chuàng)意，創(chuàng)造不同的Agent出來(lái)，我覺(jué)得這個(gè)事兒蠻有意義。
周一笑：確實(shí)挺有意思的，它相當(dāng)于跟孩子用圖像來(lái)交流。最后也是和落地相關(guān)的問(wèn)題，現(xiàn)在企業(yè)落地有兩個(gè)路徑，第一種是在垂直行業(yè)，可能自己有數(shù)據(jù)做一些垂直的模型。第二種是基于基礎(chǔ)大模型來(lái)做二次開發(fā)。從你們視角來(lái)看，如果企業(yè)要選擇的話，會(huì)給一些什么建議呢？
黃鋒：首先一條路是直接用通用的基模去做，第二是在通用的基模上加上自己的數(shù)據(jù)做一個(gè)模型，這兩條路不沖突。做一個(gè)行業(yè)大模型這件事情，不是每個(gè)場(chǎng)景都是必須的，并且門檻還是相當(dāng)高的。首先你得有相應(yīng)的語(yǔ)料，并且你得有人真的懂，真的能訓(xùn)一個(gè)模式出來(lái)，這里的調(diào)優(yōu)經(jīng)驗(yàn)，對(duì)人的能力要求還是很高的。我們也在幫助大型國(guó)內(nèi)頭部的國(guó)央企在做類似的事。
有些行業(yè)的知識(shí)是很垂的，比如法律、醫(yī)療等等，它是有必要做自己的行業(yè)模型。但是有一些行業(yè)專有的知識(shí)沒(méi)有那么多，沒(méi)有必要非要去做行業(yè)大模型，直接從基模就可以取得比較好的效果。能訓(xùn)行業(yè)大模型，在今天而言還是門檻相對(duì)比較高的事兒。
周一笑：所以更多的是需要依靠咱們這樣的平臺(tái)去做模型應(yīng)用，可以這么理解嗎？
黃鋒：對(duì)，我們總結(jié)過(guò)一些應(yīng)用落地的范式。最簡(jiǎn)單的是自己寫Prompt，調(diào)Prompt會(huì)更好的發(fā)揮模型的能力。如果這樣效果不理想，可以在某些場(chǎng)景下嘗試RAG或Agent，再不行的話，可以做一些SFT作為進(jìn)階方法。這些選擇與具體場(chǎng)景高度相關(guān)，關(guān)鍵是明確應(yīng)用目標(biāo)，選擇最高效的方式來(lái)解決問(wèn)題，而不必一味追求所有高精尖的技術(shù)。
技術(shù)本身還是服務(wù)于最終創(chuàng)造出來(lái)的應(yīng)用價(jià)值。包括模型的選擇也不是都用最好的模型，夠用就行，解決問(wèn)題就好，畢竟成本和效率都是要考慮的問(wèn)題。
周一笑：這其實(shí)也是百度智能云包括做ModelBuilder、AppBuilder，不同場(chǎng)景服務(wù)針對(duì)不同的企業(yè)。非常感謝黃鋒總針對(duì)企業(yè)落地的分享。
黃鋒：歡迎大家多多試用我們的千帆AppBuilder的平臺(tái)，謝謝大家！
