本文來自微信公眾號(hào)“GoUpSec”。
當(dāng)前人工智能技術(shù)面臨的最大風(fēng)險(xiǎn)是大語(yǔ)言模型（LLM）和生成式人工智能技術(shù)的發(fā)展和應(yīng)用速度已經(jīng)遠(yuǎn)遠(yuǎn)超過了安全和治理的速度。
OpenAI、Anthropic、谷歌和微軟等公司的生成式人工智能和大語(yǔ)言模型產(chǎn)品的使用正呈指數(shù)級(jí)增長(zhǎng)。與此同時(shí)，開源大語(yǔ)言模型方案也在高速成長(zhǎng)，HuggingFace等開源人工智能社區(qū)為技術(shù)社區(qū)提供了大量開源模型、數(shù)據(jù)集和AI應(yīng)用。
為了追趕人工智能的發(fā)展腳步，OWASP、OpenSSF、CISA等行業(yè)組織正在積極開發(fā)和提供人工智能安全與治理關(guān)鍵資源，例如OWASP AI Exchange、AI安全和隱私指南以及大語(yǔ)言模型十大風(fēng)險(xiǎn)清單（LLMTop10）。
近日，OWASP發(fā)布了大語(yǔ)言模型網(wǎng)絡(luò)安全與治理清單，填補(bǔ)了生成式人工智能安全治理的空白，具體內(nèi)容如下：
OWASP對(duì)AI類型與威脅的定義
OWASP大語(yǔ)言模型網(wǎng)絡(luò)安全與治理清單對(duì)人工智能、機(jī)器學(xué)習(xí)、生成式人工智能和大語(yǔ)言模型之間的區(qū)別給出了定義。
例如，OWASP對(duì)生成式人工智能的定義是：一種專注于創(chuàng)建新數(shù)據(jù)的機(jī)器學(xué)習(xí)，而大語(yǔ)言模型是一種用于處理和生成類人文本的人工智能模型——它們根據(jù)所提供的輸入進(jìn)行預(yù)測(cè)，并且輸出是類似人類產(chǎn)生的“自然內(nèi)容”。
對(duì)于此前發(fā)布的“大語(yǔ)言模型十大威脅清單”，OWASP認(rèn)為它可以幫助網(wǎng)絡(luò)安全從業(yè)者跟上快速發(fā)展的AI技術(shù)，識(shí)別關(guān)鍵威脅并確保企業(yè)擁有基本的安全控制措施來保護(hù)和支持采用生成式人工智能和大語(yǔ)言模型的業(yè)務(wù)。但OWASP認(rèn)為該清單并不詳盡，而且需要根據(jù)生成式人工智能的發(fā)展而不斷完善。
OWASP將AI安全威脅分為以下五種：
OWASP的大語(yǔ)言模型安全治理策略部署分為六步：
以下是OWASP大語(yǔ)言模型網(wǎng)路安全與治理清單：
1
對(duì)手風(fēng)險(xiǎn)
大語(yǔ)言模型的對(duì)手風(fēng)險(xiǎn)不僅涉及競(jìng)爭(zhēng)對(duì)手，還涉及攻擊者，其關(guān)注點(diǎn)不僅是攻擊態(tài)勢(shì)，還包括商業(yè)態(tài)勢(shì)。這包括了解競(jìng)爭(zhēng)對(duì)手如何使用人工智能來推動(dòng)業(yè)務(wù)成果，以及更新內(nèi)部流程和政策（例如事件響應(yīng)計(jì)劃(IRP)），以應(yīng)對(duì)生成式人工智能攻擊和事件。
2
威脅建模
威脅建模是一種日益流行的安全技術(shù)，隨著安全設(shè)計(jì)系統(tǒng)理念的推廣而獲得越來越多的關(guān)注，得到了美國(guó)網(wǎng)絡(luò)安全和基礎(chǔ)設(shè)施安全局(CISA)等權(quán)威機(jī)構(gòu)的認(rèn)可。威脅建模需要思考攻擊者如何利用大型語(yǔ)言模型和生成式人工智能來加速漏洞利用，企業(yè)檢測(cè)惡意大型語(yǔ)言模型的能力，以及組織是否能夠保護(hù)大型語(yǔ)言模型和生成式人工智能平臺(tái)與內(nèi)部系統(tǒng)和環(huán)境的連接。
3
人工智能資產(chǎn)清單
“你無法保護(hù)未知的資產(chǎn)”這句格言也適用于生成式人工智能和大語(yǔ)言模型領(lǐng)域。OWASP清單的這部分內(nèi)容涉及對(duì)內(nèi)部開發(fā)的人工智能解決方案以及外部工具和平臺(tái)進(jìn)行人工智能資產(chǎn)清單編制。
OWASP強(qiáng)調(diào)，企業(yè)不僅要了解內(nèi)部使用了哪些工具和服務(wù)，還要了解其所有權(quán)，即誰(shuí)對(duì)這些工具和服務(wù)的使用負(fù)責(zé)。清單還建議將人工智能組件包含在軟件材料清單(SBOM)中，并記錄人工智能數(shù)據(jù)源及其各自的敏感性。
除了對(duì)現(xiàn)有人工智能工具進(jìn)行清單編制之外，企業(yè)還應(yīng)該建立一個(gè)安全流程將未來的AI工具和服務(wù)添加到清單中。
4
人工智能安全和隱私意識(shí)培訓(xùn)
人們常說“人是最大的安全漏洞”，企業(yè)只有將人工智能安全和隱私培訓(xùn)合理集成到其生成式人工智能和大語(yǔ)言模型的應(yīng)用過程中，才能極大緩解人的風(fēng)險(xiǎn)。
這包括幫助員工了解現(xiàn)有生成式人工智能/大語(yǔ)言模型計(jì)劃、技術(shù)及其功能，以及關(guān)鍵的安全注意事項(xiàng)，例如數(shù)據(jù)泄漏。此外，建立信任和透明的安全文化至關(guān)重要。
企業(yè)內(nèi)部的信任和透明文化也有助于避免影子AI威脅，否則，員工將“偷偷“使用影子AI而不告訴IT和安全團(tuán)隊(duì)。
5
人工智能項(xiàng)目的商業(yè)論證
就像云計(jì)算一樣，大多數(shù)企業(yè)實(shí)際上并沒有為生成式人工智能和大語(yǔ)言模型等新技術(shù)應(yīng)用制定連貫的戰(zhàn)略性商業(yè)論證，很容易盲目跟風(fēng)，陷入炒作。沒有合理的商業(yè)論證，企業(yè)的人工智能應(yīng)用很可能會(huì)產(chǎn)生糟糕結(jié)果并增加風(fēng)險(xiǎn)。
6
治理
沒有治理，企業(yè)就無法建立人工智能的責(zé)任機(jī)制和明確目標(biāo)。OWASP清單建議企業(yè)為人工智能應(yīng)用制定RACI圖表(責(zé)任分配矩陣)，記錄并分配風(fēng)險(xiǎn)責(zé)任和治理任務(wù)，建立全企業(yè)范圍的人工智能政策和流程。
7
法律
隨著人工智能技術(shù)的飛速發(fā)展，其法律影響不容低估，并可能在給企業(yè)帶來財(cái)務(wù)和聲譽(yù)的重大風(fēng)險(xiǎn)。
人工智能法務(wù)涉及一系列活動(dòng)，例如人工智能產(chǎn)品質(zhì)保、人工智能最終用戶許可協(xié)議(EULA)、使用人工智能工具開發(fā)的代碼的所有權(quán)、知識(shí)產(chǎn)權(quán)風(fēng)險(xiǎn)和合同賠償條款等。簡(jiǎn)而言之，請(qǐng)確保企業(yè)的法律團(tuán)隊(duì)或?qū)＜伊私馄髽I(yè)使用生成式人工智能和大語(yǔ)言模型時(shí)應(yīng)該開展的各種配套法律活動(dòng)。
8
監(jiān)管
人工智能監(jiān)管法規(guī)也在迅速發(fā)展，例如歐盟的人工智能法案，其他國(guó)家和地區(qū)的法規(guī)也將很快出臺(tái)。企業(yè)應(yīng)該了解所在國(guó)家的人工智能合規(guī)要求，例如員工監(jiān)控，并清楚地了解其人工智能供應(yīng)商如何存儲(chǔ)和刪除數(shù)據(jù)以及如何監(jiān)管其使用。
9
使用或?qū)嵤┐笳Z(yǔ)言模型解決方案
使用大型語(yǔ)言模型解決方案需要考慮特定的風(fēng)險(xiǎn)和控制措施。OWASP清單列出了諸如訪問控制、訓(xùn)練管道安全、映射數(shù)據(jù)工作流以及了解大型語(yǔ)言模型模型和供應(yīng)鏈中存在的或潛在的漏洞等項(xiàng)目。此外，還需要對(duì)供應(yīng)商進(jìn)行第三方審計(jì)、滲透測(cè)試甚至代碼審查，這些工作既要初始進(jìn)行，也要持續(xù)進(jìn)行。
10
測(cè)試、評(píng)估、驗(yàn)證和確認(rèn)(TEVV)
TEVV流程是NIST在其人工智能框架中特別推薦的流程。這涉及在整個(gè)人工智能模型生命周期中建立持續(xù)的測(cè)試、評(píng)估、驗(yàn)證和驗(yàn)證，以及提供有關(guān)人工智能模型功能、安全性和可靠性的執(zhí)行指標(biāo)。
11
模型卡和風(fēng)險(xiǎn)卡
為了合乎道德地部署大語(yǔ)言模型，OWASP清單要求企業(yè)使用模型和風(fēng)險(xiǎn)卡，這些卡可用于讓用戶理解和信任人工智能系統(tǒng)，并公開解決偏見和隱私等潛在的負(fù)面后果。
這些卡片可以包含模型詳細(xì)信息、架構(gòu)、訓(xùn)練數(shù)據(jù)方法和性能指標(biāo)等項(xiàng)目。還強(qiáng)調(diào)考慮負(fù)責(zé)任的人工智能所需要考慮的因素以及對(duì)公平和透明度的關(guān)注。
12
RAG：大語(yǔ)言模型優(yōu)化
檢索增強(qiáng)生成（RAG）是一種優(yōu)化大語(yǔ)言模型從特定來源檢索相關(guān)數(shù)據(jù)能力的方法。它是優(yōu)化預(yù)訓(xùn)練模型或根據(jù)新數(shù)據(jù)重新訓(xùn)練現(xiàn)有模型提高性能的方法之一。OWASP建議企業(yè)實(shí)施RAG，以最大限度地提高大語(yǔ)言模型的價(jià)值和有效性。
13
AI紅隊(duì)
最后，OWASP清單強(qiáng)調(diào)了人工智能紅隊(duì)的重要性，后者模擬人工智能系統(tǒng)的對(duì)抗性攻擊，以識(shí)別漏洞并驗(yàn)證現(xiàn)有的控制和防御。OWASP強(qiáng)調(diào)，紅隊(duì)?wèi)?yīng)該是生成式人工智能和大語(yǔ)言模型的綜合安全解決方案不可或缺的一部分。
值得注意的是，企業(yè)還需要清楚地了解外部生成式人工智能和大語(yǔ)言模型供應(yīng)商的紅隊(duì)服務(wù)和系統(tǒng)要求與能力，以避免違反政策，甚至陷入法律麻煩。
