深度:ChatGPT只是表面的喧囂,大模型才是那柄尖刀!

一蓑煙雨
人工智能是一種廣義的概念,指的是使機(jī)器能夠表現(xiàn)出人類(lèi)智能的任何技術(shù)。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法,它通過(guò)讓機(jī)器從數(shù)據(jù)中學(xué)習(xí),自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的模式和規(guī)律。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊形式,它使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測(cè)。

360截圖16251112669372.png

本文來(lái)自微信公眾號(hào)“數(shù)據(jù)猿”,作者/一蓑煙雨。

如果把時(shí)鐘撥到2023年底,當(dāng)我們回過(guò)頭來(lái)看今年科技界最激動(dòng)人心的大事件,ChatGPT的橫空出世無(wú)疑會(huì)占據(jù)一席之地。就像幾年前大家被谷歌AlphaGo點(diǎn)燃對(duì)人工智能的熱情一樣,人們對(duì)ChatGPT的熱情只多不少。

并且,AlphaGo其實(shí)只是虛晃一槍?zhuān)](méi)能帶來(lái)很多的實(shí)際應(yīng)用,而ChatGPT不一樣,商業(yè)應(yīng)用速度異常迅速,超過(guò)了大部分的預(yù)期。OpenAI很快推出了GPT-4,微軟很快將相應(yīng)模型接入其搜索、office全家桶等各條業(yè)務(wù)線(xiàn);谷歌以Bard倉(cāng)促應(yīng)戰(zhàn),并與其搜索業(yè)務(wù)深度綁定,褒貶不一;國(guó)內(nèi)的百度以文心一言快速跟進(jìn),目前已經(jīng)有數(shù)十萬(wàn)家企業(yè)在排隊(duì)接入文心一言;阿里巴巴發(fā)布的通義千問(wèn),同樣得到數(shù)十萬(wàn)企業(yè)的熱情回應(yīng)。

人們對(duì)于這類(lèi)AI應(yīng)用的熱情可見(jiàn)一斑。

實(shí)際上,正如數(shù)據(jù)猿先前發(fā)布的文章《含淚控訴人類(lèi)科技史上的三個(gè)頂級(jí)“渣男”!》,人工智能、可控核聚變、元宇宙這三個(gè)領(lǐng)域的每一次突破,都將極大的挑動(dòng)人類(lèi)敏感的神經(jīng),都能引發(fā)一波全民追捧熱浪。

然而,外行看熱鬧,內(nèi)行看門(mén)道。作為一個(gè)專(zhuān)業(yè)媒體,數(shù)據(jù)猿并不滿(mǎn)足于報(bào)道浮在行業(yè)表面的熱點(diǎn)新聞,而要試圖去挖掘隱藏在冰山底下的秘密。

在我們看來(lái),雖然現(xiàn)在ChatGPT已經(jīng)成為萬(wàn)眾矚目的明星,但它卻只是擺在臺(tái)面上的“提線(xiàn)木偶”,真正隱藏在幕后操控這一切的幕后大佬另有其人。

一言以蔽之:ChatGPT只是表面的喧囂,大模型才是刺破AI的那柄尖刀。

所以,要搞清楚目前的狀況,應(yīng)該把更多的注意力放在底層的大模型上,而不是停留在ChatGPT上。正如上一輪AlphaGo引發(fā)的AI浪潮,其底層驅(qū)動(dòng)力是深度學(xué)習(xí)技術(shù)的突破。

接下來(lái),我們就來(lái)深入分析一下大模型,試圖搞清楚大模型跟以往的機(jī)器學(xué)習(xí)、深度學(xué)習(xí)模型有什么不一樣;大模型這么厲害,那它到底是如何工作的。

大模型是深度學(xué)習(xí)技術(shù)的進(jìn)化版

人工智能已經(jīng)發(fā)展了幾十年了,整體朝著機(jī)器學(xué)習(xí)、深度學(xué)習(xí)、大模型的進(jìn)化方向發(fā)展。

人工智能是一種廣義的概念,指的是使機(jī)器能夠表現(xiàn)出人類(lèi)智能的任何技術(shù)。機(jī)器學(xué)習(xí)是實(shí)現(xiàn)人工智能的一種方法,它通過(guò)讓機(jī)器從數(shù)據(jù)中學(xué)習(xí),自動(dòng)發(fā)現(xiàn)數(shù)據(jù)中的模式和規(guī)律。深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一種特殊形式,它使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)和預(yù)測(cè)。

大規(guī)模預(yù)訓(xùn)練模型是一種機(jī)器學(xué)習(xí)模型,使用大量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練,并在后續(xù)任務(wù)中進(jìn)行微調(diào)。這種模型通常采用深度學(xué)習(xí)技術(shù),可以自動(dòng)從數(shù)據(jù)中提取特征和模式,從而進(jìn)行各種任務(wù),例如自然語(yǔ)言處理、圖像識(shí)別、語(yǔ)音識(shí)別等。目前最著名的大規(guī)模預(yù)訓(xùn)練模型之一是GPT系列。

大規(guī)模預(yù)訓(xùn)練模型可以被看作是深度學(xué)習(xí)技術(shù)的一種進(jìn)化和擴(kuò)展,大規(guī)模預(yù)訓(xùn)練模型通常也使用了以往深度學(xué)習(xí)模型的一些技術(shù),如卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等。通過(guò)預(yù)訓(xùn)練加微調(diào)的方式,大規(guī)模預(yù)訓(xùn)練模型在處理大規(guī)模數(shù)據(jù)和多個(gè)任務(wù)方面具有很強(qiáng)的能力,成為了當(dāng)前人工智能領(lǐng)域的一個(gè)重要研究方向。

因此,大模型、深度學(xué)習(xí)、機(jī)器學(xué)習(xí)、人工智能的關(guān)系可以用下圖來(lái)表示:

360截圖16251112669372.png

數(shù)據(jù)猿制圖

深度學(xué)習(xí)技術(shù)可以視為大模型的地基之一,大模型發(fā)展也跟深度學(xué)習(xí)技術(shù)的突破息息相關(guān)。2012-2018年,深度學(xué)習(xí)技術(shù)在默默發(fā)展,2018年OpenAI推出GPT模型為分水嶺,大模型的發(fā)展進(jìn)入加速階段。各個(gè)科技巨頭都開(kāi)始狂煉大模型,一方面是在核心算法上進(jìn)行探索,另一方面就是的不斷提升參數(shù)規(guī)模——大模型領(lǐng)域的“暴力美學(xué)”。

當(dāng)然,除了美國(guó),中國(guó)在大模型領(lǐng)域是跟的最緊的,百度、騰訊、阿里巴巴、華為等也誕生了不少成果。

其中,百度在這個(gè)領(lǐng)域的積累最深,這也是百度能在中國(guó)率先推出對(duì)標(biāo)ChatGPT的文心一言產(chǎn)品的原因。

接下來(lái)我們?cè)噲D從技術(shù)角度,來(lái)探討一下大模型產(chǎn)業(yè)發(fā)展的核心邏輯。

全新的訓(xùn)練模式:預(yù)訓(xùn)練+微調(diào)

同樣是深度學(xué)習(xí)技術(shù),為什么大模型能表現(xiàn)的如此驚艷,它有什么不一樣呢?

以往的深度學(xué)習(xí)模型通常需要從頭開(kāi)始訓(xùn)練,需要大量的標(biāo)注數(shù)據(jù)和計(jì)算資源。而大規(guī)模預(yù)訓(xùn)練模型則采用了一種更加高效的訓(xùn)練方式,即預(yù)訓(xùn)練加微調(diào)。預(yù)訓(xùn)練是指在海量數(shù)據(jù)上進(jìn)行無(wú)監(jiān)督學(xué)習(xí),使得模型學(xué)到更加通用的特征和表示。在預(yù)訓(xùn)練完成后,可以在不同的任務(wù)上進(jìn)行微調(diào),使得模型能夠適應(yīng)具體的任務(wù)。

可以發(fā)現(xiàn),大模型的訓(xùn)練有兩個(gè)關(guān)鍵的步驟,即預(yù)訓(xùn)練+微調(diào)。通過(guò)預(yù)訓(xùn)練,來(lái)獲得一些通用特征,并提升模型泛化能力。

在大規(guī)模預(yù)訓(xùn)練模型中,通用的特征和表示指的是一些基本的語(yǔ)言或圖像特征,這些特征是在模型在大規(guī)模數(shù)據(jù)上無(wú)監(jiān)督學(xué)習(xí)時(shí)自動(dòng)學(xué)習(xí)到的。

這些通用的特征和表示具有一定的抽象性,可以在不同的任務(wù)中被重新利用,從而使得模型可以更加高效地學(xué)習(xí)新的任務(wù)。這就像是學(xué)生在學(xué)習(xí)不同的科目時(shí),會(huì)學(xué)到一些基本的學(xué)習(xí)方法和技巧,比如如何理解概念、如何思考問(wèn)題、如何進(jìn)行邏輯推理等等。這些基本的學(xué)習(xí)方法和技巧可以被應(yīng)用在不同的科目中,幫助學(xué)生更加高效地學(xué)習(xí)和掌握知識(shí)。

目前大模型的泛化效果已經(jīng)相當(dāng)不錯(cuò),比如在自然語(yǔ)言處理領(lǐng)域,大模型如GPT-4在多個(gè)NLP任務(wù)上均取得了出色的表現(xiàn),表明大模型在泛化方面已經(jīng)取得了很大的進(jìn)展。未來(lái)的突破重點(diǎn)可能在于進(jìn)一步提高模型的泛化能力,比如在數(shù)據(jù)增強(qiáng)、對(duì)抗訓(xùn)練等方面繼續(xù)探索創(chuàng)新方法。

相比之前的深度學(xué)習(xí)模型,大模型之所以能夠?qū)崿F(xiàn)更好的泛化能力,關(guān)鍵在于大模型具有更多的參數(shù)和更豐富的特征表示能力。大模型在預(yù)訓(xùn)練階段就能夠?qū)W習(xí)到大規(guī)模數(shù)據(jù)的特征表示,這些通用的特征能夠被遷移應(yīng)用到各種不同的任務(wù)中,使得大模型能夠更好地適應(yīng)新的任務(wù),從而提高了泛化能力。

關(guān)于泛化能力,可以把它比喻成一個(gè)人的適應(yīng)能力。如果一個(gè)人只是在自己家里待著,很少接觸外面的世界,那么他可能很難適應(yīng)到新的環(huán)境中去。但是如果一個(gè)人經(jīng)常外出旅行,接觸不同的文化和環(huán)境,那么他的適應(yīng)能力就會(huì)更強(qiáng),無(wú)論面對(duì)何種情況,都能夠迅速適應(yīng)。同樣地,一個(gè)模型的泛化能力越強(qiáng),也就意味著它對(duì)于不同的數(shù)據(jù)集都能夠有很好的適應(yīng)能力。

舉個(gè)例子,假設(shè)你是一個(gè)學(xué)習(xí)者,正在學(xué)習(xí)如何區(qū)分不同種類(lèi)的水果。傳統(tǒng)的深度學(xué)習(xí)模型可能只能學(xué)習(xí)到一些基礎(chǔ)的特征,比如顏色、大小等,但是如果遇到一些特殊的水果,比如火龍果、楊桃等,模型可能就無(wú)法正確識(shí)別。這就好比你只是學(xué)習(xí)了蘋(píng)果、香蕉等常見(jiàn)水果的特征,但對(duì)于火龍果、楊桃這類(lèi)非常規(guī)的水果,你可能無(wú)從下手。但是,如果你使用了一種大規(guī)模預(yù)訓(xùn)練模型,就好比你已經(jīng)學(xué)習(xí)了各種不同種類(lèi)的水果的特征,并且可以將這些特征遷移到新的水果上。這樣,即使你遇到了一些之前沒(méi)見(jiàn)過(guò)的水果,也可以根據(jù)它們的特征正確地識(shí)別它們。

自監(jiān)督學(xué)習(xí),數(shù)據(jù)“爆炸”的引信

從上面的分析可以發(fā)現(xiàn),足夠多的數(shù)據(jù),是大模型實(shí)現(xiàn)泛化的重要基礎(chǔ),只有模型“見(jiàn)多識(shí)廣”了,遇到以前沒(méi)見(jiàn)過(guò)的情況才可以從容應(yīng)對(duì)。

事實(shí)上,大模型之所以能取得如此驚艷的表現(xiàn),有一個(gè)關(guān)鍵的突破,就是訓(xùn)練數(shù)據(jù)集的擴(kuò)大。

數(shù)據(jù)猿對(duì)比了機(jī)器學(xué)習(xí)模型(以隨機(jī)森林模型為例)、傳統(tǒng)深度學(xué)習(xí)模型和大模型的訓(xùn)練數(shù)據(jù)集規(guī)模。發(fā)現(xiàn)大模型的訓(xùn)練數(shù)據(jù)集規(guī)模要比傳統(tǒng)深度學(xué)習(xí)高幾個(gè)數(shù)量級(jí),至于更傳統(tǒng)的機(jī)器學(xué)習(xí)模型就更沒(méi)有可比性了。

既然訓(xùn)練數(shù)據(jù)集規(guī)模越大模型的表現(xiàn)越好,那為什么以前不把數(shù)據(jù)集規(guī)模做大呢?不是不想,是不能。傳統(tǒng)深度學(xué)習(xí)模型的訓(xùn)練數(shù)據(jù),大多是標(biāo)注數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行標(biāo)注是一個(gè)費(fèi)時(shí)費(fèi)力的過(guò)程,這極大的限制了數(shù)據(jù)規(guī)模。

要打破數(shù)據(jù)標(biāo)注的桎梏,自監(jiān)督學(xué)習(xí)技術(shù)閃亮登場(chǎng)了。

自監(jiān)督學(xué)習(xí)是一種無(wú)需人工標(biāo)注數(shù)據(jù)的機(jī)器學(xué)習(xí)方法,它通過(guò)利用數(shù)據(jù)自身的內(nèi)在結(jié)構(gòu),訓(xùn)練模型來(lái)學(xué)習(xí)數(shù)據(jù)的特征表示。其核心思想是在未標(biāo)注數(shù)據(jù)上構(gòu)建模型,并從數(shù)據(jù)中自動(dòng)發(fā)現(xiàn)模式和結(jié)構(gòu)。自監(jiān)督學(xué)習(xí)已經(jīng)在計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理、語(yǔ)音識(shí)別等領(lǐng)域中得到廣泛應(yīng)用。

自監(jiān)督學(xué)習(xí)的核心技術(shù)包括預(yù)測(cè)任務(wù)的設(shè)計(jì)、數(shù)據(jù)增強(qiáng)方法和模型架構(gòu)的設(shè)計(jì):預(yù)測(cè)任務(wù)的設(shè)計(jì)是指在未標(biāo)注的數(shù)據(jù)上構(gòu)建一些任務(wù),讓模型通過(guò)這些任務(wù)來(lái)學(xué)習(xí)數(shù)據(jù)的特征表示。數(shù)據(jù)增強(qiáng)方法則是通過(guò)對(duì)未標(biāo)注數(shù)據(jù)進(jìn)行一些變換和擾動(dòng),生成新的數(shù)據(jù)來(lái)擴(kuò)充訓(xùn)練集,提高模型的泛化能力。模型架構(gòu)的設(shè)計(jì)則是指選擇合適的網(wǎng)絡(luò)結(jié)構(gòu)和優(yōu)化算法,使得模型能夠從未標(biāo)注數(shù)據(jù)中學(xué)習(xí)出有用的特征表示。

具體來(lái)看,實(shí)現(xiàn)自監(jiān)督學(xué)習(xí)的具體過(guò)程包括以下幾個(gè)步驟:

收集未標(biāo)注數(shù)據(jù)集。未標(biāo)注數(shù)據(jù)集的選擇和收集對(duì)于自監(jiān)督學(xué)習(xí)的效果至關(guān)重要,需要根據(jù)具體任務(wù)選擇適合的數(shù)據(jù)集。

設(shè)計(jì)預(yù)測(cè)任務(wù)。預(yù)測(cè)任務(wù)的設(shè)計(jì)需要根據(jù)具體任務(wù)選擇合適的目標(biāo)和方法,如圖像分類(lèi)、圖像重構(gòu)、圖像補(bǔ)全等。

數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)可以提高模型的泛化能力,可以通過(guò)圖像旋轉(zhuǎn)、裁剪、變形等方法來(lái)擴(kuò)充數(shù)據(jù)集。

構(gòu)建模型。模型的選擇和設(shè)計(jì)需要根據(jù)具體任務(wù)選擇適合的模型架構(gòu)和優(yōu)化算法。

模型訓(xùn)練。使用未標(biāo)注數(shù)據(jù)進(jìn)行模型訓(xùn)練,通過(guò)優(yōu)化損失函數(shù)來(lái)學(xué)習(xí)數(shù)據(jù)的特征表示。

模型評(píng)估。對(duì)訓(xùn)練好的模型進(jìn)行評(píng)估,包括特征表示的質(zhì)量、模型的泛化能力和任務(wù)性能等指標(biāo)。

需要指出的是,自監(jiān)督學(xué)習(xí)技術(shù)已經(jīng)有超過(guò)20年的發(fā)展歷史。

冰凍三尺非一日之寒,雖然看起來(lái)ChatGPT是突然爆火的,但其核心的大模型技術(shù)卻是經(jīng)過(guò)了多年的發(fā)展,一點(diǎn)點(diǎn)突破之后。從深度學(xué)習(xí)到大模型,從標(biāo)注數(shù)據(jù)訓(xùn)練到基于自監(jiān)督學(xué)習(xí)的非標(biāo)注數(shù)據(jù)訓(xùn)練,技術(shù)的發(fā)展就像一場(chǎng)接力賽,然后在最近達(dá)到了一個(gè)臨界點(diǎn)。

十年大模型無(wú)人問(wèn),一朝ChatGPT天下知

我們不僅要看到表面的熱鬧,也要看到產(chǎn)業(yè)背后的發(fā)展脈絡(luò)和邏輯。只有掌握產(chǎn)業(yè)的底層密碼,才能真正融入時(shí)代的浪潮,而不只是當(dāng)一個(gè)吃瓜群眾。

ChatGPT爆火之后,中國(guó)有大量的公司想要搭上這趟快車(chē),紛紛高調(diào)宣布自己已經(jīng)或者即將推出對(duì)標(biāo)的產(chǎn)品。

當(dāng)我們關(guān)注ChatGPT時(shí),視角應(yīng)該放在GPT,而不是Chat!

中國(guó)公司能否推出對(duì)標(biāo)ChatGPT的產(chǎn)品,核心也在于底層大模型的突破,而不是推出一個(gè)跟ChatGPT“長(zhǎng)得像”的對(duì)話(huà)式AI產(chǎn)品。

THEEND

最新評(píng)論(評(píng)論僅代表用戶(hù)觀點(diǎn))

更多
暫無(wú)評(píng)論