【案例】華青融天渤海銀行應用日志管理分析系統(tǒng)建設項目

信息化觀察網
信息化觀察網
華青融天基于大數(shù)據架構的EZAccur應用日志分析管理平臺,滿足銀行對于應用系統(tǒng)智能監(jiān)控中的單一維度短板,通過日志數(shù)據維度,發(fā)現(xiàn)故障,定位問題。

華青融天基于大數(shù)據架構的EZAccur應用日志分析管理平臺,滿足銀行對于應用系統(tǒng)智能監(jiān)控中的單一維度短板,通過日志數(shù)據維度,發(fā)現(xiàn)故障,定位問題。

同時滿足銀行行業(yè)對于數(shù)據監(jiān)管需求,通過統(tǒng)一的大數(shù)據平臺,提供統(tǒng)一的日志查詢平臺,收緊項目運維人員獲取日志數(shù)據權限,避免人為的數(shù)據泄露風險,做到零風險、可管控。

完全可視化的交互平臺,通過對日志數(shù)據的分析,創(chuàng)建符合企業(yè)內容監(jiān)控及運維的更多多告警規(guī)則,監(jiān)控大屏,分析報表。

一:方案介紹

華青融天根據用戶安全實踐需要,利用大數(shù)據分析和安全情報等最新技術,快速構建企業(yè)級的日志管理分析和處置平臺。在海量日志數(shù)據中發(fā)現(xiàn)業(yè)務運營模型和規(guī)律,自動識別用戶行為異常,實現(xiàn)交易風險控制,從而進行商業(yè)智能分析和業(yè)務預測。

EZAccur目標是:通過對廣泛的數(shù)據源進行深層次的智能分析,對各類攻擊行為、網絡威脅產生深刻的洞察力,從而做出準確的反擊或防御,幫助用戶實現(xiàn)行為可視、業(yè)務分析預測、實時異常檢測及風險管控等。

二:方案創(chuàng)新點

華青融天EZAccur是部署在網絡出口處和用戶內網的軟件系統(tǒng),可實時收集各類信息安全相關的日志信息和網絡流量,利用大數(shù)據技術進行數(shù)據清洗、集中存儲和快速分析,基于規(guī)則關聯(lián)分析安全事件,并通過機器學習識別異常行為,準確有效地評估安全風險,主動發(fā)現(xiàn)系統(tǒng)所面臨的內、外部攻擊及違規(guī)行為并實時告警。

在實際運用中,與同類產品相比有以下創(chuàng)新點:

創(chuàng)新點一:智能日志分析

采用機器學習的方式解析日志智能正規(guī)化解析,無需人工的日志解析。

創(chuàng)新點二:圖形化和多元條件的告警規(guī)則編寫

滿足圖形化和復雜的規(guī)則編寫需求。

創(chuàng)新點三:高效的日志查詢

支持類似google的快速查詢功能,同時滿足全文模糊檢索及精確查詢需求。

創(chuàng)新點四:完全復原的日志上下文查詢

滿足運維人員零學習成本的使用習慣遷移。

創(chuàng)新點五:基于日志特征,機器學習完成精確的應用系統(tǒng)智能監(jiān)控、性能分析

三:技術介紹

1.系統(tǒng)內部體系架構

平臺采用B/S架構設計,為普通應用系統(tǒng)。

其內部架構設計如上圖,主要包括了幾個模塊:數(shù)據采集功能、數(shù)據流式處理模塊、數(shù)據存儲模塊、數(shù)據分析模塊、數(shù)據展示模式。

1)數(shù)據采集:負責各類型的日志采集(主動采集方式、被動接受方式)。

2)數(shù)據流式處理:負責大量日志數(shù)據的結構化處理,以及資源相互協(xié)調。

3)數(shù)據存儲:對數(shù)據進行分布式存儲、日志歸檔。

4)日志分析:提供海量數(shù)據的分布式搜索引擎,為用戶提供準實時的搜索服務。

5)數(shù)據可視化:提供最簡潔日志呈現(xiàn)的交互方式,如:儀表盤、報表。

2. 技術介紹

通過建設該項目,可有效打破日志數(shù)據之間的豎井,提高日志運維的效率:

1)實時采集,并集中存儲分散在各服務器上的應用和交易日志,可進行長期保存,避免出現(xiàn)日志流失。

2)通過關鍵字檢索的方式,快速查詢,聚焦到某筆出現(xiàn)故障的業(yè)務交易上,并可通過界面的關聯(lián)跳轉操作,把從A日志搜索的特征,帶入到B日志中進行關聯(lián)查詢。

3)通過關鍵字和頻次的告警規(guī)則,實現(xiàn)基于日志的交易故障實時告警,對現(xiàn)有基礎架構監(jiān)控加交易流量監(jiān)控的監(jiān)控體系提供有益的補充。

4)通過所見即所得的dashboard編輯,實現(xiàn)可自定義的統(tǒng)計圖表展示。

5)通過角色和權限的劃分,確保數(shù)據訪問性,保證各系統(tǒng)管理員只能看到自己系統(tǒng)相關的數(shù)據內容。

6)界面操作簡便,不僅可以提供給運維團隊使用,也可提供給科技開發(fā)人員使用。

3. 解決問題

滿足客戶繁雜的運維中生成的大量日志數(shù)據,無法有效集中管理和便捷查詢的基本需求;同時根據數(shù)據內容和關聯(lián)特征來觸發(fā)及時預警和數(shù)據趨勢分析的高級分析。

4. 技術優(yōu)勢

1)采用先進大數(shù)據架構;

2)支持分析海量異構數(shù)據;

3)圖形界面定義框架采用最先進的插件平臺技術;

4)支持數(shù)據存儲層面和標準數(shù)據接口層面的第三方接口對接;

5)EZAccur平臺成熟穩(wěn)定、性能高效,具備冗余、集群、負載均衡架構;

6)滿足技術延展性需求,支持與其他機器數(shù)據進融合。

四:產品特點

特點1:多源數(shù)據聚合的日志分析管理平臺

通過采集各類型設備日志和網絡流量,實時監(jiān)控網絡異常,利用日志檢索、關聯(lián)分析和實時展現(xiàn)全方位幫助用戶對運維數(shù)據進行存儲和實時利用。

特點2:智能正規(guī)化及數(shù)據解析,減少大量人為繁冗工作

具有智能日志解析功能,自動解析日志內容,匹配最佳實踐;減少人為干預和誤解析。

特點3:多維關聯(lián)分析和預警

通過機器學習、特征關聯(lián)分析來實現(xiàn)對日志內容分析和預警;內置上百種設備和系統(tǒng)日志解析規(guī)則和知識庫。

特點4:日志信息內容細顆粒度可視

用戶可通過完全自由的google mapping的方式對日志內容進行檢索,豐富的可視化能力,通過對日志信息內容多元維度的可視化,使企業(yè)具有對日志信息和內容運維和分析使用能力。

五:應用場景及效果

1.統(tǒng)一的日志存儲,項目運維人員第一時間定位日志;

2.實時分析日志數(shù)據,多維度分析問題的報告;

3.多維度的監(jiān)控系統(tǒng)告警渠道,形成立體式告警機制;

4.統(tǒng)一的日志出口,權限管制統(tǒng)一歸結到運維人員手中,做到數(shù)據信息的零泄露;

5.關聯(lián)復雜的系統(tǒng)業(yè)務,快速定位故障源系統(tǒng);

6.大量潛在風險信息分析,做到根因分析、故障預測

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論