華青融天基于大數(shù)據架構的EZAccur應用日志分析管理平臺,滿足銀行對于應用系統(tǒng)智能監(jiān)控中的單一維度短板,通過日志數(shù)據維度,發(fā)現(xiàn)故障,定位問題。
同時滿足銀行行業(yè)對于數(shù)據監(jiān)管需求,通過統(tǒng)一的大數(shù)據平臺,提供統(tǒng)一的日志查詢平臺,收緊項目運維人員獲取日志數(shù)據權限,避免人為的數(shù)據泄露風險,做到零風險、可管控。
完全可視化的交互平臺,通過對日志數(shù)據的分析,創(chuàng)建符合企業(yè)內容監(jiān)控及運維的更多多告警規(guī)則,監(jiān)控大屏,分析報表。
一:方案介紹
華青融天根據用戶安全實踐需要,利用大數(shù)據分析和安全情報等最新技術,快速構建企業(yè)級的日志管理分析和處置平臺。在海量日志數(shù)據中發(fā)現(xiàn)業(yè)務運營模型和規(guī)律,自動識別用戶行為異常,實現(xiàn)交易風險控制,從而進行商業(yè)智能分析和業(yè)務預測。
EZAccur目標是:通過對廣泛的數(shù)據源進行深層次的智能分析,對各類攻擊行為、網絡威脅產生深刻的洞察力,從而做出準確的反擊或防御,幫助用戶實現(xiàn)行為可視、業(yè)務分析預測、實時異常檢測及風險管控等。
二:方案創(chuàng)新點
華青融天EZAccur是部署在網絡出口處和用戶內網的軟件系統(tǒng),可實時收集各類信息安全相關的日志信息和網絡流量,利用大數(shù)據技術進行數(shù)據清洗、集中存儲和快速分析,基于規(guī)則關聯(lián)分析安全事件,并通過機器學習識別異常行為,準確有效地評估安全風險,主動發(fā)現(xiàn)系統(tǒng)所面臨的內、外部攻擊及違規(guī)行為并實時告警。
在實際運用中,與同類產品相比有以下創(chuàng)新點:
創(chuàng)新點一:智能日志分析
采用機器學習的方式解析日志智能正規(guī)化解析,無需人工的日志解析。
創(chuàng)新點二:圖形化和多元條件的告警規(guī)則編寫
滿足圖形化和復雜的規(guī)則編寫需求。
創(chuàng)新點三:高效的日志查詢
支持類似google的快速查詢功能,同時滿足全文模糊檢索及精確查詢需求。
創(chuàng)新點四:完全復原的日志上下文查詢
滿足運維人員零學習成本的使用習慣遷移。
創(chuàng)新點五:基于日志特征,機器學習完成精確的應用系統(tǒng)智能監(jiān)控、性能分析
三:技術介紹
1.系統(tǒng)內部體系架構
平臺采用B/S架構設計,為普通應用系統(tǒng)。
其內部架構設計如上圖,主要包括了幾個模塊:數(shù)據采集功能、數(shù)據流式處理模塊、數(shù)據存儲模塊、數(shù)據分析模塊、數(shù)據展示模式。
1)數(shù)據采集:負責各類型的日志采集(主動采集方式、被動接受方式)。
2)數(shù)據流式處理:負責大量日志數(shù)據的結構化處理,以及資源相互協(xié)調。
3)數(shù)據存儲:對數(shù)據進行分布式存儲、日志歸檔。
4)日志分析:提供海量數(shù)據的分布式搜索引擎,為用戶提供準實時的搜索服務。
5)數(shù)據可視化:提供最簡潔日志呈現(xiàn)的交互方式,如:儀表盤、報表。
2. 技術介紹
通過建設該項目,可有效打破日志數(shù)據之間的豎井,提高日志運維的效率:
1)實時采集,并集中存儲分散在各服務器上的應用和交易日志,可進行長期保存,避免出現(xiàn)日志流失。
2)通過關鍵字檢索的方式,快速查詢,聚焦到某筆出現(xiàn)故障的業(yè)務交易上,并可通過界面的關聯(lián)跳轉操作,把從A日志搜索的特征,帶入到B日志中進行關聯(lián)查詢。
3)通過關鍵字和頻次的告警規(guī)則,實現(xiàn)基于日志的交易故障實時告警,對現(xiàn)有基礎架構監(jiān)控加交易流量監(jiān)控的監(jiān)控體系提供有益的補充。
4)通過所見即所得的dashboard編輯,實現(xiàn)可自定義的統(tǒng)計圖表展示。
5)通過角色和權限的劃分,確保數(shù)據訪問性,保證各系統(tǒng)管理員只能看到自己系統(tǒng)相關的數(shù)據內容。
6)界面操作簡便,不僅可以提供給運維團隊使用,也可提供給科技開發(fā)人員使用。
3. 解決問題
滿足客戶繁雜的運維中生成的大量日志數(shù)據,無法有效集中管理和便捷查詢的基本需求;同時根據數(shù)據內容和關聯(lián)特征來觸發(fā)及時預警和數(shù)據趨勢分析的高級分析。
4. 技術優(yōu)勢
1)采用先進大數(shù)據架構;
2)支持分析海量異構數(shù)據;
3)圖形界面定義框架采用最先進的插件平臺技術;
4)支持數(shù)據存儲層面和標準數(shù)據接口層面的第三方接口對接;
5)EZAccur平臺成熟穩(wěn)定、性能高效,具備冗余、集群、負載均衡架構;
6)滿足技術延展性需求,支持與其他機器數(shù)據進融合。
四:產品特點
特點1:多源數(shù)據聚合的日志分析管理平臺
通過采集各類型設備日志和網絡流量,實時監(jiān)控網絡異常,利用日志檢索、關聯(lián)分析和實時展現(xiàn)全方位幫助用戶對運維數(shù)據進行存儲和實時利用。
特點2:智能正規(guī)化及數(shù)據解析,減少大量人為繁冗工作
具有智能日志解析功能,自動解析日志內容,匹配最佳實踐;減少人為干預和誤解析。
特點3:多維關聯(lián)分析和預警
通過機器學習、特征關聯(lián)分析來實現(xiàn)對日志內容分析和預警;內置上百種設備和系統(tǒng)日志解析規(guī)則和知識庫。
特點4:日志信息內容細顆粒度可視
用戶可通過完全自由的google mapping的方式對日志內容進行檢索,豐富的可視化能力,通過對日志信息內容多元維度的可視化,使企業(yè)具有對日志信息和內容運維和分析使用能力。
五:應用場景及效果
1.統(tǒng)一的日志存儲,項目運維人員第一時間定位日志;
2.實時分析日志數(shù)據,多維度分析問題的報告;
3.多維度的監(jiān)控系統(tǒng)告警渠道,形成立體式告警機制;
4.統(tǒng)一的日志出口,權限管制統(tǒng)一歸結到運維人員手中,做到數(shù)據信息的零泄露;
5.關聯(lián)復雜的系統(tǒng)業(yè)務,快速定位故障源系統(tǒng);
6.大量潛在風險信息分析,做到根因分析、故障預測