本文來自微信公眾號“安全牛”。
AI大模型的行業(yè)應用無疑是當前最火熱的話題。在AI大模型的驅動下，整個信息科技領域故事不斷。而在網絡安全領域，AI大模型也為網絡安全運營工作開辟出新的想象空間。作為AI大模型領域的兩個代表性工具，OpenAI在2月初推出了ChatGPT 4.0收費版（ChatGPT Plus），谷歌也將Google Bard免費版正式升級為Gemini。在網絡安全運營工作中，這兩個全新發(fā)布的產品誰的可用性更好呢？在本文中，IBS Software的安全研究團隊精心設計了十大安全運營用例，對這兩種工具進行了針對性的測試。
1
生成流程示意圖
結果：Gemini表現(xiàn)基本合格，ChatGPT存在誤導問題
這兩種工具都宣稱能夠生成流程示意圖。然而，Gemini承認只能生成基于ASCII碼的示意圖，如果用戶想要更高級的功能，需要額外購買更專業(yè)的工具。在本次測試中，研究人員讓這兩種工具分別生成一個示意圖來解釋一次身份安全的驗證流程，并將結果進行了比較。
結果顯示，Gemini用ASCII加以表示，流程圖表現(xiàn)合格，將整個圖細分為幾個實用的類別；而ChatGPT生成的流程圖盡管看起來很專業(yè)，但存在嚴重的誤導問題，其所表示的根本就不是身份驗證流程。同時，其對流程的描述也存在大量錯誤，不僅拼寫有誤，使用的術語也不準確。
圖注：ChatGPT輸出的流程示意圖
2
解釋安全架構示意圖
結果：Gemini更加簡潔，ChatGPT中規(guī)中矩
這兩種工具獲得安全架構示意圖后都能夠解釋具體情況。結果比要求它們生成檢測流程示意圖時的表現(xiàn)好得多。在本次測試中，研究人員使用Edgenexus公司的Web應用程序防火墻（WAF）架構示例作為了輸入。結果顯示，Google Gemini表述的更加簡潔，在解釋架構示意圖方面做得更勝一籌。ChatGPT的輸出表現(xiàn)可以說中規(guī)中矩，但是解釋過程有點啰嗦。
3
解釋安全漏洞利用代碼
結果：兩者難分伯仲
在企業(yè)日常的安全運維（SecOps）工作中，有一項基礎的任務就是試圖找出特定惡意軟件或漏洞利用代碼的具體用途。測試者將最近的Elasticsearch堆棧溢出公共漏洞利用代碼輸入到這兩種工具中，實際測試了它們的解讀能力。結果顯示，兩種工具在這方面沒有明顯的差距，都能比較正確地識別漏洞利用代碼，并解釋最終結果，說明代碼的每個部分有什么用途以及代碼工作原理。
4
解讀安全日志文件
結果：Gemini解釋得更清楚
安全運營專業(yè)人員常常需要分析海量的安全日志文件，并從中了解到底發(fā)生了什么。在此項測試中，測試人員分別為這兩種工具輸入了一起攻擊事件的CEF格式日志文件示例，并要求每種工具通過分析日志來解釋發(fā)生了什么。結果顯示，Gemini解釋得更清楚，總結全面，甚至給出了應該采取哪些后續(xù)處置措施的建議。它在分析的開始就清楚地闡明了發(fā)生了什么事情（企圖訪問/etc/passwd），并詳細解釋了它是如何得出這個結論的。ChatGPT盡管也得出了同樣的結論，但是解釋的過程有點混亂，缺乏清晰的表述邏輯。
5
編寫安全運營策略和安全文檔
結果：Gemini更勝一籌
AI大模型具有強大的運營策略和安全文檔編寫能力，這有望提高企業(yè)安全運營流程的標準化，使其能夠適應安全環(huán)境變化，這將是一種非常關鍵的應用價值體現(xiàn)。本次測試中，研究人員對Gemini和ChatGPT的運營策略編寫能力進行了測試，結果顯示：Gemini能夠更清楚地理解并生成安全文檔，綜合表現(xiàn)比ChatGPT更勝一籌。
6
識別易受攻擊的代碼
結果：兩者均有不俗表現(xiàn)
雖然Gemini和ChatGPT這兩種生成式AI工具都不是為網絡安全運營工作而設計的，目前也不很少被用于識別易受攻擊的代碼，但在實際測試中，它們均有著有不俗的表現(xiàn)。測試人員分別為這兩種工具提供了一個不安全的直接對象引用（IDOR）漏洞示例來進行測試，該示例中還含有SQL注入漏洞。
測試結果顯示，ChatGPT正確地識別了漏洞和缺乏身份驗證的問題，但最初并沒有發(fā)現(xiàn)SQL注入漏洞，而是在為它進行了相關提示后才成功發(fā)現(xiàn)。Gemini未能發(fā)現(xiàn)IDOR，但卻快速指出了SQL注入漏洞，并進一步建議了改如何修改代碼以修復該漏洞。
7
編寫腳本和代碼
結果：都有著較強大的代碼編寫能力
在現(xiàn)代企業(yè)的安全運營中心（SOC），有一項常見的工作就是編寫用于日志解析或海量數(shù)據(jù)處理的自動化處理腳本。本次測試中，研究人員給了這兩種工具如下提示：“編寫一個Python腳本，從一個txt輸入文件中提取所有IPv6地址，刪除所有重復的地址，執(zhí)行查詢以確定IP所有者的地理定位并識別身份，將結果輸出到一個CSV文件中。”
測試結果顯示，這兩種工具都有著強大的代碼編寫能力，均能夠準確生成清晰易讀的代碼，并能夠解釋出工作原理。
8
分析數(shù)據(jù)和安全指標
結果：Gemini一敗涂地，ChatGPT優(yōu)勢明顯
研究人員還測試了這兩種工具是否能夠幫助安全運營人員分析樣本數(shù)據(jù)或安全指標。Gemini在這項測試中一敗涂地，因為它幾乎不具備這種能力，只能指導用戶如何在Excel和Power BI中實現(xiàn)這項操作。而ChatGPT的優(yōu)勢主要來自其Data Analyst插件，該插件可以獲取Excel文件以生成用戶想要的任何圖形。它甚至支持多種可視化類型，用戶可以通過提示來修改圖形的設計，包括顏色、軸和標簽。
圖注：ChatGPT生成的示例圖形
9
編寫安全意識培訓的課件
結果：Gemini幽默風趣，ChatGPT嚴謹規(guī)范
這兩種工具都可以幫助編寫安全意識培訓的課件。本次測試以生成開展安全意識活動的電子郵件為例。研究人員給了兩種工具以下提示：“生成一封用于開展安全意識培訓的電子郵件。措辭幽默風趣，提醒大家不要隨意點擊陌生人發(fā)來的郵件。”
測試結果顯示，這兩種工具都表現(xiàn)不賴。Gemini生成的電子郵件更簡短，而且閱讀起來感受更幽默風趣。ChatGPT也同樣能生成得當?shù)拇朕o和規(guī)范的郵件，但它對于開展安全意識活動而言，內容的生動性稍差，顯得更加嚴謹規(guī)范。
圖注、 Gemini生成的加強用戶安全意識電子郵件
10
解讀網絡安全合規(guī)框架
結果：Gemini的解讀能力更強
如果用戶想快速了解如何實施一套網絡安全合規(guī)框架，這兩種工具都能夠給予有效的幫助。這一點在企業(yè)的網絡安全運營工作中非常有用。
在本次測試中，研究人員為每個工具給出以下輸入提示：“請解釋PCI-DSS方面的‘重大變化’這一概念。通常什么才是重大變化？同時列出這項標準的確切要求。”
測試結果顯示，Gemini的解讀能力更勝一籌，它正確地列出了標準的確切要求（比如6.4.5和6.4.6），并且還解釋了某方面是重大變化的原因。而ChatGPT并沒有提到這些信息在標準中的具體位置。
結語
通過以上十項安全運營用例的實際測試結果分析，我們可以看出，ChatGPT和Gemini這兩種AI大模型工具都有助于安全運營團隊提高工作效率，幫助安全運營專業(yè)人員處理繁瑣的日常事務性工作。盡管從對比數(shù)據(jù)看，Gemini在部分測試項目中的表現(xiàn)更出色，但是在安全指標分析、IDOR漏洞代碼分析等測試中，也存在很多不足之處。因此，企業(yè)組織在應用選型時，還需視組織的具體應用需求而定。
需要特別指出的是，AI大語言模型在網絡安全運營領域的應用才剛剛開始，還會有更多基于大語言模型的AI安全平臺問世，企業(yè)安全團隊應該積極地通過AI技術增強持續(xù)學習能力，從而更好地預防和響應安全事件，在攻擊得手之前進行遏制。
