華青融天渤海銀行應(yīng)用日志管理分析系統(tǒng)建設(shè)項(xiàng)目

華青融天基于大數(shù)據(jù)架構(gòu)的EZAccur應(yīng)用日志分析管理平臺(tái),滿足銀行對(duì)于應(yīng)用系統(tǒng)智能監(jiān)控中的單一維度短板,通過(guò)日志數(shù)據(jù)維度,發(fā)現(xiàn)故障,定位問(wèn)題。

華青融天基于大數(shù)據(jù)架構(gòu)的EZAccur應(yīng)用日志分析管理平臺(tái),滿足銀行對(duì)于應(yīng)用系統(tǒng)智能監(jiān)控中的單一維度短板,通過(guò)日志數(shù)據(jù)維度,發(fā)現(xiàn)故障,定位問(wèn)題。

同時(shí)滿足銀行行業(yè)對(duì)于數(shù)據(jù)監(jiān)管需求,通過(guò)統(tǒng)一的大數(shù)據(jù)平臺(tái),提供統(tǒng)一的日志查詢平臺(tái),收緊項(xiàng)目運(yùn)維人員獲取日志數(shù)據(jù)權(quán)限,避免人為的數(shù)據(jù)泄露風(fēng)險(xiǎn),做到零風(fēng)險(xiǎn)、可管控。

完全可視化的交互平臺(tái),通過(guò)對(duì)日志數(shù)據(jù)的分析,創(chuàng)建符合企業(yè)內(nèi)容監(jiān)控及運(yùn)維的更多多告警規(guī)則,監(jiān)控大屏,分析報(bào)表。

一:方案介紹

華青融天根據(jù)用戶安全實(shí)踐需要,利用大數(shù)據(jù)分析和安全情報(bào)等最新技術(shù),快速構(gòu)建企業(yè)級(jí)的日志管理分析和處置平臺(tái)。在海量日志數(shù)據(jù)中發(fā)現(xiàn)業(yè)務(wù)運(yùn)營(yíng)模型和規(guī)律,自動(dòng)識(shí)別用戶行為異常,實(shí)現(xiàn)交易風(fēng)險(xiǎn)控制,從而進(jìn)行商業(yè)智能分析和業(yè)務(wù)預(yù)測(cè)。

EZAccur目標(biāo)是:通過(guò)對(duì)廣泛的數(shù)據(jù)源進(jìn)行深層次的智能分析,對(duì)各類攻擊行為、網(wǎng)絡(luò)威脅產(chǎn)生深刻的洞察力,從而做出準(zhǔn)確的反擊或防御,幫助用戶實(shí)現(xiàn)行為可視、業(yè)務(wù)分析預(yù)測(cè)、實(shí)時(shí)異常檢測(cè)及風(fēng)險(xiǎn)管控等。

二:方案創(chuàng)新點(diǎn)

華青融天EZAccur是部署在網(wǎng)絡(luò)出口處和用戶內(nèi)網(wǎng)的軟件系統(tǒng),可實(shí)時(shí)收集各類信息安全相關(guān)的日志信息和網(wǎng)絡(luò)流量,利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)清洗、集中存儲(chǔ)和快速分析,基于規(guī)則關(guān)聯(lián)分析安全事件,并通過(guò)機(jī)器學(xué)習(xí)識(shí)別異常行為,準(zhǔn)確有效地評(píng)估安全風(fēng)險(xiǎn),主動(dòng)發(fā)現(xiàn)系統(tǒng)所面臨的內(nèi)、外部攻擊及違規(guī)行為并實(shí)時(shí)告警。

在實(shí)際運(yùn)用中,與同類產(chǎn)品相比有以下創(chuàng)新點(diǎn):

創(chuàng)新點(diǎn)一:智能日志分析

采用機(jī)器學(xué)習(xí)的方式解析日志智能正規(guī)化解析,無(wú)需人工的日志解析。

創(chuàng)新點(diǎn)二:圖形化和多元條件的告警規(guī)則編寫

滿足圖形化和復(fù)雜的規(guī)則編寫需求。

創(chuàng)新點(diǎn)三:高效的日志查詢

支持類似google的快速查詢功能,同時(shí)滿足全文模糊檢索及精確查詢需求。

創(chuàng)新點(diǎn)四:完全復(fù)原的日志上下文查詢

滿足運(yùn)維人員零學(xué)習(xí)成本的使用習(xí)慣遷移。

創(chuàng)新點(diǎn)五:基于日志特征,機(jī)器學(xué)習(xí)完成精確的應(yīng)用系統(tǒng)智能監(jiān)控、性能分析

三:技術(shù)介紹

1.系統(tǒng)內(nèi)部體系架構(gòu)

平臺(tái)采用B/S架構(gòu)設(shè)計(jì),為普通應(yīng)用系統(tǒng)。

其內(nèi)部架構(gòu)設(shè)計(jì)如上圖,主要包括了幾個(gè)模塊:數(shù)據(jù)采集功能、數(shù)據(jù)流式處理模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)展示模式。

1)數(shù)據(jù)采集:負(fù)責(zé)各類型的日志采集(主動(dòng)采集方式、被動(dòng)接受方式)。

2)數(shù)據(jù)流式處理:負(fù)責(zé)大量日志數(shù)據(jù)的結(jié)構(gòu)化處理,以及資源相互協(xié)調(diào)。

3)數(shù)據(jù)存儲(chǔ):對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、日志歸檔。

4)日志分析:提供海量數(shù)據(jù)的分布式搜索引擎,為用戶提供準(zhǔn)實(shí)時(shí)的搜索服務(wù)。

5)數(shù)據(jù)可視化:提供最簡(jiǎn)潔日志呈現(xiàn)的交互方式,如:儀表盤、報(bào)表。

2. 技術(shù)介紹

通過(guò)建設(shè)該項(xiàng)目,可有效打破日志數(shù)據(jù)之間的豎井,提高日志運(yùn)維的效率:

1)實(shí)時(shí)采集,并集中存儲(chǔ)分散在各服務(wù)器上的應(yīng)用和交易日志,可進(jìn)行長(zhǎng)期保存,避免出現(xiàn)日志流失。

2)通過(guò)關(guān)鍵字檢索的方式,快速查詢,聚焦到某筆出現(xiàn)故障的業(yè)務(wù)交易上,并可通過(guò)界面的關(guān)聯(lián)跳轉(zhuǎn)操作,把從A日志搜索的特征,帶入到B日志中進(jìn)行關(guān)聯(lián)查詢。

3)通過(guò)關(guān)鍵字和頻次的告警規(guī)則,實(shí)現(xiàn)基于日志的交易故障實(shí)時(shí)告警,對(duì)現(xiàn)有基礎(chǔ)架構(gòu)監(jiān)控加交易流量監(jiān)控的監(jiān)控體系提供有益的補(bǔ)充。

4)通過(guò)所見(jiàn)即所得的dashboard編輯,實(shí)現(xiàn)可自定義的統(tǒng)計(jì)圖表展示。

5)通過(guò)角色和權(quán)限的劃分,確保數(shù)據(jù)訪問(wèn)性,保證各系統(tǒng)管理員只能看到自己系統(tǒng)相關(guān)的數(shù)據(jù)內(nèi)容。

6)界面操作簡(jiǎn)便,不僅可以提供給運(yùn)維團(tuán)隊(duì)使用,也可提供給科技開(kāi)發(fā)人員使用。

3. 解決問(wèn)題

滿足客戶繁雜的運(yùn)維中生成的大量日志數(shù)據(jù),無(wú)法有效集中管理和便捷查詢的基本需求;同時(shí)根據(jù)數(shù)據(jù)內(nèi)容和關(guān)聯(lián)特征來(lái)觸發(fā)及時(shí)預(yù)警和數(shù)據(jù)趨勢(shì)分析的高級(jí)分析。

4. 技術(shù)優(yōu)勢(shì)

1)采用先進(jìn)大數(shù)據(jù)架構(gòu);

2)支持分析海量異構(gòu)數(shù)據(jù);

3)圖形界面定義框架采用最先進(jìn)的插件平臺(tái)技術(shù);

4)支持?jǐn)?shù)據(jù)存儲(chǔ)層面和標(biāo)準(zhǔn)數(shù)據(jù)接口層面的第三方接口對(duì)接;

5)EZAccur平臺(tái)成熟穩(wěn)定、性能高效,具備冗余、集群、負(fù)載均衡架構(gòu);

6)滿足技術(shù)延展性需求,支持與其他機(jī)器數(shù)據(jù)進(jìn)融合。

四:產(chǎn)品特點(diǎn)

特點(diǎn)1:多源數(shù)據(jù)聚合的日志分析管理平臺(tái)

通過(guò)采集各類型設(shè)備日志和網(wǎng)絡(luò)流量,實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)異常,利用日志檢索、關(guān)聯(lián)分析和實(shí)時(shí)展現(xiàn)全方位幫助用戶對(duì)運(yùn)維數(shù)據(jù)進(jìn)行存儲(chǔ)和實(shí)時(shí)利用。

特點(diǎn)2:智能正規(guī)化及數(shù)據(jù)解析,減少大量人為繁冗工作

具有智能日志解析功能,自動(dòng)解析日志內(nèi)容,匹配最佳實(shí)踐;減少人為干預(yù)和誤解析。

特點(diǎn)3:多維關(guān)聯(lián)分析和預(yù)警

通過(guò)機(jī)器學(xué)習(xí)、特征關(guān)聯(lián)分析來(lái)實(shí)現(xiàn)對(duì)日志內(nèi)容分析和預(yù)警;內(nèi)置上百種設(shè)備和系統(tǒng)日志解析規(guī)則和知識(shí)庫(kù)。

特點(diǎn)4:日志信息內(nèi)容細(xì)顆粒度可視

用戶可通過(guò)完全自由的google mapping的方式對(duì)日志內(nèi)容進(jìn)行檢索,豐富的可視化能力,通過(guò)對(duì)日志信息內(nèi)容多元維度的可視化,使企業(yè)具有對(duì)日志信息和內(nèi)容運(yùn)維和分析使用能力。

五:應(yīng)用場(chǎng)景及效果

1.統(tǒng)一的日志存儲(chǔ),項(xiàng)目運(yùn)維人員第一時(shí)間定位日志;

2.實(shí)時(shí)分析日志數(shù)據(jù),多維度分析問(wèn)題的報(bào)告;

3.多維度的監(jiān)控系統(tǒng)告警渠道,形成立體式告警機(jī)制;

4.統(tǒng)一的日志出口,權(quán)限管制統(tǒng)一歸結(jié)到運(yùn)維人員手中,做到數(shù)據(jù)信息的零泄露;

5.關(guān)聯(lián)復(fù)雜的系統(tǒng)業(yè)務(wù),快速定位故障源系統(tǒng);

6.大量潛在風(fēng)險(xiǎn)信息分析,做到根因分析、故障預(yù)測(cè)

THEEND

最新評(píng)論

更多
暫無(wú)評(píng)論