本文來自微信公眾號(hào)“安全牛”。
在迅速發(fā)展的人工智能（AI）領(lǐng)域，研究人員關(guān)注的焦點(diǎn)正由ChatGPT等大語言模型工具轉(zhuǎn)向下一個(gè)前沿領(lǐng)域——AI代理（Agentic AI）。相比目前的大語言模型應(yīng)用，AI代理技術(shù)更加智能化，可以在基本不需要人工干預(yù)的情況下完成復(fù)雜任務(wù)，以之前難以想象的方式進(jìn)行主動(dòng)學(xué)習(xí)、適應(yīng)和協(xié)作。而在網(wǎng)絡(luò)安全領(lǐng)域，AI代理技術(shù)的廣泛應(yīng)用或?qū)氐赘淖兙W(wǎng)絡(luò)攻防博弈間的游戲規(guī)則。
什么是AI代理？
在最初的大語言模型中，通常是在一次響應(yīng)中生成對(duì)提示的響應(yīng)。例如，我們可能會(huì)請(qǐng)一個(gè)LLM（大型語言模型）來幫助撰寫一篇文章或報(bào)告，它會(huì)一次性生成完整的草稿。但這種方法往往缺乏深度和精細(xì)度。這種形式也被稱為零投提示（Zero Shot Prompting）——因?yàn)樗噲D在第一次投籃就“命中籃筐”，并在不重復(fù)的情況下獲得一個(gè)好的結(jié)果。
事實(shí)證明，和人類一樣，大語言模型很難通過一次或有限的交互就帶來完美的結(jié)果。因此，OpenAI公司以聊天的形式創(chuàng)建了GPT3/4模型，這使得我們可以圍繞相同主題進(jìn)行附加提問迭代，包括給出評(píng)論，將問題劃分為多個(gè)子問題，并要求模型執(zhí)行自我反思等。
相比之下，AI代理技術(shù)旨在形成一種主動(dòng)式、自動(dòng)化的任務(wù)執(zhí)行工作流，就像人工分階段處理一個(gè)項(xiàng)目一樣。通過生成最優(yōu)化的代理流程，AI系統(tǒng)可以分多個(gè)步驟草擬、審查、修改和改善輸出，從而獲得更精細(xì)和更優(yōu)質(zhì)的結(jié)果。
在今年初舉辦的紅杉資本AI Ascent大會(huì)上，人工智能技術(shù)先驅(qū)、Google Brain聯(lián)合創(chuàng)始人Andrew Ng博士發(fā)表了一場富有遠(yuǎn)見的主題分享，探討了AI代理技術(shù)的深遠(yuǎn)影響和巨大發(fā)展?jié)摿ΑＫ硎荆和ㄟ^AI代理所形成代理工作流，是一種涉及AI模型不斷改進(jìn)輸出的迭代流程，這將徹底顛覆傳統(tǒng)的靜態(tài)AI交互方式。
在這種代理工作流中，有四個(gè)關(guān)鍵設(shè)計(jì)模式：
結(jié)果反思：AI模型需要對(duì)每次輸出的結(jié)果進(jìn)行反思，并確定需要改進(jìn)的方面。比如說，生成代碼的AI可以檢查代碼的正確性和效率，然后根據(jù)自我批評(píng)改進(jìn)代碼。
規(guī)劃和多代理協(xié)作：多個(gè)AI模型需要協(xié)同工作，每個(gè)模型司職不同的任務(wù)。比如說，一個(gè)AI生成代碼，另一個(gè)AI審查和優(yōu)化代碼。
工具使用：AI模型使用外部工具來增強(qiáng)其功能，比如代碼生成工具或獲取額外信息的web搜索工具。
多對(duì)多使用：結(jié)合不同的AI模型（每個(gè)模型各有所長），以協(xié)同完成復(fù)雜的任務(wù)。
Andrew Ng認(rèn)為，通過AI代理所形成的工作流將顯著增強(qiáng)現(xiàn)有AI技術(shù)（模型）的應(yīng)用能力，實(shí)現(xiàn)更精細(xì)的迭代過程。這種方法有望在包括網(wǎng)絡(luò)安全在內(nèi)的各種應(yīng)用領(lǐng)域充分釋放大語言模型和AI系統(tǒng)的應(yīng)用潛力。
AI代理對(duì)網(wǎng)絡(luò)安全的影響
研究人員認(rèn)為，通過AI代理，可以讓大模型工具的交互迭代過程更具協(xié)作性和適應(yīng)性，因此非常適合在網(wǎng)絡(luò)安全等復(fù)雜領(lǐng)域中應(yīng)用。在某種意義上，AI代理可以被看作是一個(gè)自主運(yùn)行的智能化網(wǎng)絡(luò)安全系統(tǒng)，能夠在無人干預(yù)的情況下做出安全決策并采取威脅處置行動(dòng)。它的能力相當(dāng)于一個(gè)技術(shù)嫻熟、經(jīng)驗(yàn)豐富的安全專家團(tuán)隊(duì)，而且不需要睡覺和休息，能夠不間斷地尋找和處置威脅。
不妨設(shè)想智能家居系統(tǒng)的工作原理。智能恒溫器可以了解你的日常生活，根據(jù)你的喜好調(diào)整溫度，并可以檢測到不尋常的活動(dòng)變化，比如溫度突然下降（可能表明窗戶開著）。同樣，在網(wǎng)絡(luò)安全防御背景下，AI代理可以使用類似的流程來開發(fā)和優(yōu)化完善安全防護(hù)措施。比如說，AI代理可以持續(xù)監(jiān)控網(wǎng)絡(luò)流量、檢測異常，并更新安全規(guī)程，以實(shí)時(shí)防御新的威脅。
目前，研究人員Richard Fang、Rohan Bindu、Akui Gupta和Daniel Kang已證明，GPT-4之類的大語言模型（LLM）可以自動(dòng)利用1-day漏洞。研究小組在研究中針對(duì)15個(gè)實(shí)際的漏洞數(shù)據(jù)集測試了GPT-4。GPT-4成功利用了其中87%的漏洞，明顯勝過其他工具。這項(xiàng)研究強(qiáng)調(diào)了我們迫切需要采取積極主動(dòng)的網(wǎng)絡(luò)安全措施，因?yàn)锳I利用漏洞方面的潛力構(gòu)成了新的重大威脅。定期更新和及時(shí)部署安全補(bǔ)丁對(duì)于減輕這些風(fēng)險(xiǎn)至關(guān)重要。
面對(duì)上述挑戰(zhàn)，AI代理可以在沒有人干預(yù)的情況下建立不斷探索、學(xué)習(xí)和適應(yīng)的網(wǎng)絡(luò)安全防護(hù)體系。這也正是Project Voyager在游戲《我的世界》中所做的一切。
來自加州理工學(xué)院、斯坦福大學(xué)、得克薩斯大學(xué)和英偉達(dá)的研究人員共同開發(fā)了Voyager，這是目前第一個(gè)為開放式環(huán)境中終身學(xué)習(xí)而設(shè)計(jì)的AI代理實(shí)驗(yàn)。Voyager由三大部分組成：追求探索的自動(dòng)課程、存儲(chǔ)復(fù)雜行為的技能庫以及基于反饋改進(jìn)性能的迭代提示機(jī)制。當(dāng)Voyager負(fù)責(zé)建造村莊的非玩家控制角色（NPC）用完了附近的樹木去砍木頭時(shí)，一個(gè)有趣的場景出現(xiàn)了，那些基于AI的NPC并非寸步難行，而是開始尋找解決辦法。他們決定搬到鄰近的村莊，趕走原居民，并用他們房子里的木頭繼續(xù)建造村莊。
這個(gè)實(shí)驗(yàn)展示AI在創(chuàng)造能夠終身學(xué)習(xí)和適應(yīng)的自主代理方面具有巨大潛力。無論是在游戲、機(jī)器人還是網(wǎng)絡(luò)安全領(lǐng)域，這種代理不斷學(xué)習(xí)和進(jìn)化的能力為創(chuàng)新和解決問題開辟了新的前景。
結(jié)語
毋庸置疑，AI代理在網(wǎng)絡(luò)安全領(lǐng)域?qū)⒕哂猩钸h(yuǎn)的影響，可以用來模擬攻擊、識(shí)別漏洞，并自主制定防御策略。這將徹底改變我們對(duì)待網(wǎng)絡(luò)安全防御的方式。然而，AI代理也讓我們更接近實(shí)現(xiàn)AI在某些方面超越人類智能的可能，如何負(fù)責(zé)任地開發(fā)這些技術(shù)并確保它們安全可靠地用于造福社會(huì)就顯得至關(guān)重要。
