當前網(wǎng)絡與信息安全領域，正在面臨著多種挑戰(zhàn)。一方面，企業(yè)和組織安全體系架構(gòu)日趨復雜，各種類型的安全數(shù)據(jù)越來越多，傳統(tǒng)的分析能力明顯不再適應；另一方面，新型威脅興起，內(nèi)控與合規(guī)深入，傳統(tǒng)的分析方法存在諸多缺陷，越來越需要分析更多的安全信息，更加快速地做出判定和響應。
網(wǎng)絡信息安全數(shù)據(jù)自身也面臨大數(shù)據(jù)化的挑戰(zhàn)。
1）數(shù)據(jù)越來越多。網(wǎng)絡已經(jīng)從吉比特每秒邁向了萬兆比特每秒的速率，網(wǎng)絡安全設備要分析的數(shù)據(jù)分組數(shù)據(jù)量急劇上升。同時，隨著安全防御的縱深化，安全監(jiān)測的內(nèi)容不斷細化，除了傳統(tǒng)的攻擊監(jiān)測，還出現(xiàn)了應用監(jiān)測、用戶行為監(jiān)測等。此外，隨著APT等新型威脅的興起，全分組捕獲技術(shù)逐步應用，海量數(shù)據(jù)處理問題也日益凸顯。
2）處理越來越快。對于網(wǎng)絡設備而言，包處理和轉(zhuǎn)發(fā)的速度需要更快；對于安全管理平臺、事件分析平臺而言，數(shù)據(jù)源的事件發(fā)送速率越來越快。因此，對安全數(shù)據(jù)處理的性能將直接影響大數(shù)據(jù)的服務質(zhì)量。
3）形態(tài)越來越泛。除了協(xié)議數(shù)據(jù)分組、設備日志數(shù)據(jù)，安全信息還涉及漏洞信息、配置信息、身份與訪問信息、用戶行為信息、應用信息、業(yè)務信息、外部情報信息、網(wǎng)絡環(huán)境數(shù)據(jù)等等。針對安全數(shù)據(jù)形態(tài)多樣化、非結(jié)構(gòu)化的發(fā)展趨勢，統(tǒng)一的數(shù)據(jù)表述方法也變得越來越關鍵。
正是因為安全數(shù)據(jù)自身的大數(shù)據(jù)化，因此業(yè)界開始研究如何將大數(shù)據(jù)技術(shù)應用于安全領域，形成大數(shù)據(jù)安全服務。
1.網(wǎng)絡安全大數(shù)據(jù)態(tài)勢感知
隨著網(wǎng)絡規(guī)模和應用的迅速擴大，網(wǎng)絡安全威脅不斷增加，單一的網(wǎng)絡安全防護技術(shù)已經(jīng)不能滿足需要。網(wǎng)絡安全態(tài)勢感知能夠從整體上動態(tài)反映網(wǎng)絡安全狀況并對網(wǎng)絡安全的發(fā)展趨勢進行預測，大數(shù)據(jù)的特點為大規(guī)模網(wǎng)絡安全態(tài)勢感知研究的突破創(chuàng)造了機遇。
網(wǎng)絡安全態(tài)勢感知就是利用數(shù)據(jù)融合、數(shù)據(jù)挖掘、智能分析和可視化等技術(shù)，直觀顯示網(wǎng)絡環(huán)境的實時安全狀況，為網(wǎng)絡安全提供保障。借助網(wǎng)絡安全態(tài)勢感知，網(wǎng)絡監(jiān)管人員可以及時了解網(wǎng)絡的狀態(tài)、受攻擊情況、攻擊來源以及哪些服務易受到攻擊等情況，對發(fā)起攻擊的網(wǎng)絡采取措施；網(wǎng)絡用戶可以清楚地掌握所在網(wǎng)絡的安全狀態(tài)和趨勢，做好相應的防范準備，避免和減少網(wǎng)絡中病毒和惡意攻擊帶來的損失；應急響應組織也可以從網(wǎng)絡安全態(tài)勢中了解所服務網(wǎng)絡的安全狀況和發(fā)展趨勢，為制定有預見性的應急預案提供基礎。
安全態(tài)勢感知通過對系統(tǒng)環(huán)境中潛在的安全影響要素進行獲取和理解，以實現(xiàn)對未來安全發(fā)展趨勢的預測，是制定安全防御策略的基礎。主要研究包含情報數(shù)據(jù)采集、安全數(shù)據(jù)整理、數(shù)據(jù)可視化展現(xiàn)、情報和事件匯聚處理分析、安全態(tài)勢展示等步驟，關鍵技術(shù)如下。
（1）多源異構(gòu)數(shù)據(jù)的融合
網(wǎng)絡運行環(huán)境、協(xié)議和應用場景等難以統(tǒng)一描述，網(wǎng)絡安全態(tài)勢感知首先需解決多源異構(gòu)數(shù)據(jù)的融合。數(shù)據(jù)融合主要研究跨領域數(shù)據(jù)的一體化表示機理，不確定條件下的多源數(shù)據(jù)融合算法，以及異質(zhì)時序數(shù)據(jù)的模式挖掘方法等關鍵技術(shù)，進而解決基于多源異質(zhì)數(shù)據(jù)融合的安全態(tài)勢感知方法、基于安全知識模型的安全態(tài)勢感知方法，以及安全態(tài)勢感知結(jié)果的自適應融合策略等關鍵問題。
（2）網(wǎng)絡特征的選擇提取
隨著信息網(wǎng)絡的復雜程度不斷提升，網(wǎng)絡數(shù)據(jù)異常龐大，即便是經(jīng)過數(shù)據(jù)融合后的信息，用戶依然無法有效使用。大數(shù)據(jù)分析技術(shù)，能夠滿足用戶從網(wǎng)絡大數(shù)據(jù)中獲得信息的需求，對得到的數(shù)據(jù)特征信息進一步智能分析，并轉(zhuǎn)述為更高層次的網(wǎng)絡特征。精準的網(wǎng)絡特征能夠有效描述網(wǎng)絡安全狀態(tài)和受攻擊的風險程度，方便進行全網(wǎng)態(tài)勢評估和預測。
（3）安全態(tài)勢感知與預警
網(wǎng)絡威脅是動態(tài)的，具有不固定性，為實現(xiàn)主動防御，需采用動態(tài)預測措施，以便能夠根據(jù)當前網(wǎng)絡走勢判斷未來網(wǎng)絡安全情況；為用戶提供安全策略，以便做出更正確的決策。網(wǎng)絡安全態(tài)勢預警的核心問題就是利用網(wǎng)絡安全大數(shù)據(jù)模型，實現(xiàn)對網(wǎng)絡安全態(tài)勢的實時感知與預測。
圖1為針對某個企業(yè)的網(wǎng)絡安全態(tài)勢感知示意，可對云上所有網(wǎng)絡資產(chǎn)進行安全告警，并用機器學習發(fā)現(xiàn)潛在的入侵和高隱蔽性攻擊、回溯攻擊歷史、預測安全事件等，主要功能包括安全事件告警和檢索、原始日志存儲和分析、安全風險量化和預測等。
圖1網(wǎng)絡安全態(tài)勢感知示意
安全感知是安全防御體系的核心，面對APT高級隱蔽攻擊和滲透測試等，是否能夠第一時間識別和發(fā)現(xiàn)安全異常，已逐步成為衡量安全體系優(yōu)劣的關鍵準則。
2.網(wǎng)絡安全大數(shù)據(jù)的可視化
網(wǎng)絡大數(shù)據(jù)帶來的是海量、高速、多變的信息資產(chǎn)，需要尋求經(jīng)濟的、創(chuàng)新的信息處理方式，快速獲得超越數(shù)據(jù)客觀信息的洞察力和決策力，可視化技術(shù)就在這樣的背景下應運而生。數(shù)據(jù)可視化容易被人們感知數(shù)據(jù)信息，可以快速識別數(shù)據(jù)模式和數(shù)據(jù)差異并發(fā)現(xiàn)數(shù)據(jù)異常，能夠快速識別并直觀聚類，還能快速發(fā)現(xiàn)新的攻擊模式并對攻擊趨勢做出預測。因此，針對信息安全問題，諸多企業(yè)希望將其監(jiān)測到的大數(shù)據(jù)轉(zhuǎn)化為信息可視化呈現(xiàn)的各種形式，數(shù)據(jù)可視化已逐步成為網(wǎng)絡安全技術(shù)和管理的一個關鍵配置。
數(shù)據(jù)可視化通常是在一個具體的問題目標框架下，利用宏觀模式視角、微觀單點視角、關聯(lián)關系視角，通過形狀、位置、尺寸、方向、色彩、紋理等視覺要素設計，得到數(shù)據(jù)的圖形化展示。網(wǎng)絡安全可視化則是利用人類視覺對模型和結(jié)構(gòu)的獲取能力，將抽象的網(wǎng)絡和系統(tǒng)數(shù)據(jù)以圖形圖像的方式展現(xiàn)出來，將網(wǎng)絡異構(gòu)數(shù)據(jù)整合到一起，相互搭配進行可視化展示能夠從多個角度來全面準確地監(jiān)測分析一個網(wǎng)絡事件，體現(xiàn)當前網(wǎng)絡及設備的數(shù)據(jù)傳輸、網(wǎng)絡流量來源及流動方向、受到的攻擊類型等安全情況，從而幫助人們快速分析網(wǎng)絡狀況，識別網(wǎng)絡異?；蚓W(wǎng)絡入侵行為，預測網(wǎng)絡安全事件發(fā)展趨勢。
目前，網(wǎng)絡態(tài)勢可視化技術(shù)作為一項新技術(shù)，是網(wǎng)絡安全態(tài)勢感知與可視化技術(shù)的結(jié)合。網(wǎng)絡中蘊涵的態(tài)勢狀況可以通過可視化圖形方式展示給用戶，利用對圖形圖像的強大處理能力，實現(xiàn)對網(wǎng)絡異常行為的分析和檢測。網(wǎng)絡態(tài)勢可視化充分結(jié)合了計算機和人腦在圖像處理方面的優(yōu)勢，提高了對數(shù)據(jù)的綜合分析能力，能夠有效降低誤報率和漏報率，提高系統(tǒng)檢測效率，減小反應時間，還具備較強的異常行為預測能力。
安全態(tài)勢可視化的目的是生成網(wǎng)絡安全綜合態(tài)勢圖，以多視圖、多角度、多尺度的方式與用戶進行交互，面臨的主要挑戰(zhàn)是如何實時顯示、處理大規(guī)模網(wǎng)絡數(shù)據(jù)，如何支持多數(shù)據(jù)源、多視圖、多平臺協(xié)同的分析，最終協(xié)助網(wǎng)絡空間安全專家實現(xiàn)智能化、自動化預警和防御體系。
下面簡要介紹幾款常用的大數(shù)據(jù)可視化分析工具。
D3.js是一款優(yōu)秀的數(shù)據(jù)可視化工具庫。運行在JavaScript上，并使用HTML、CSS和SVG。D3.js是開源工具，使用數(shù)據(jù)驅(qū)動的方式創(chuàng)建漂亮的網(wǎng)頁，可實現(xiàn)實時交互。
ChartBlocks是一個易于使用的在線工具，它無需編碼，便能從電子表格、數(shù)據(jù)庫中構(gòu)建可視化圖表。整個過程可以在圖表向?qū)У闹笇峦瓿?，在HTML5框架下使用JavaScript庫D3.js創(chuàng)建圖表。
Google Charts以HTML5和SVG為基礎，充分考慮了跨瀏覽器的兼容性，并通過VML支持舊版本的IE瀏覽器，并提供一個非常好的、全面的模板庫。
Highcharts是JavaScript API與jQuery的集成產(chǎn)品，使用SVG格式，并使用VML支持舊版瀏覽器。它提供了兩個專門的圖表類型——Highstock和Highmaps，并且配備了一系列的插件，還提供Highcharts云服務。
Tableau是一款企業(yè)級的大數(shù)據(jù)可視化工具，可輕松創(chuàng)建圖形、表格和地圖。它不僅提供了PC桌面版，還提供了云服務器解決方案，支持在線生成可視化報告。
Plotly是一個非常人性化的網(wǎng)絡工具，可在幾分鐘內(nèi)啟動，從簡單的電子表格中開始創(chuàng)建漂亮的圖表，并為JavaScript和Python等編程語言提供API接口。
Visual.ly是一個可視化的內(nèi)容服務。它提供專門的大數(shù)據(jù)可視化的服務，支持外包服務：你只需描述你的項目，服務團隊將在項目的整個持續(xù)時間內(nèi)提供可視化開發(fā)服務。
3.網(wǎng)絡安全大數(shù)據(jù)分析平臺
OpenSOC是一個針對網(wǎng)絡分組和流的大數(shù)據(jù)分析框架，是大數(shù)據(jù)與安全分析技術(shù)相融合的平臺，能夠?qū)崟r檢測網(wǎng)絡異常情況并且可不斷擴展節(jié)點，存儲采用Hadoop，實時索引采用ElasticSearch，在線流分析采用Storm。
目前，OpenSOC已加入Apache工程，名為Apache Metron。體系架構(gòu)如圖2所示。
圖2 OpenSOC體系架構(gòu)
OpenSOC主要功能如下。
擴展性較強的平臺框架，支持各種Telemetry數(shù)據(jù)流；
通過可擴展的接收器和分析器可監(jiān)視任何Telemetry數(shù)據(jù)源；
支持對Telemetry數(shù)據(jù)流的異常檢測和基于規(guī)則的實時告警；
通過預設時間使用Hadoop存儲Telemetry的數(shù)據(jù)流；
支持ElasticSearch實現(xiàn)自動化實時索引Telemetry數(shù)據(jù)流；
支持Hive實現(xiàn)SQL查詢Hadoop數(shù)據(jù)；
能夠兼容ODBC/JDBC和繼承已有的分析工具；
具有豐富的分析應用，且能夠集成已有的分析工具；
支持實時的Telemetry搜索和跨Telemetry的匹配；
支持自動生成報告、異常報警等；
支持原數(shù)據(jù)分組的抓取、存儲、重組等；
支持數(shù)據(jù)驅(qū)動的安全檢測與分析模型。
OpenSOC平臺特色包括：
免費、開源、基于Apache協(xié)議授權(quán)；
基于高可擴展平臺的（Hadoop、Kafka、Storm）實現(xiàn)；
基于可擴展的插件式設計；
具有靈活的部署模式，支持企業(yè)內(nèi)部或云端部署；
具有集中化的人員和數(shù)據(jù)管理流程。
