華青融天基于大數(shù)據(jù)架構(gòu)的EZAccur應(yīng)用日志分析管理平臺(tái)，滿足銀行對(duì)于應(yīng)用系統(tǒng)智能監(jiān)控中的單一維度短板，通過(guò)日志數(shù)據(jù)維度，發(fā)現(xiàn)故障，定位問(wèn)題。
同時(shí)滿足銀行行業(yè)對(duì)于數(shù)據(jù)監(jiān)管需求，通過(guò)統(tǒng)一的大數(shù)據(jù)平臺(tái)，提供統(tǒng)一的日志查詢平臺(tái)，收緊項(xiàng)目運(yùn)維人員獲取日志數(shù)據(jù)權(quán)限，避免人為的數(shù)據(jù)泄露風(fēng)險(xiǎn)，做到零風(fēng)險(xiǎn)、可管控。
完全可視化的交互平臺(tái)，通過(guò)對(duì)日志數(shù)據(jù)的分析，創(chuàng)建符合企業(yè)內(nèi)容監(jiān)控及運(yùn)維的更多多告警規(guī)則，監(jiān)控大屏，分析報(bào)表。
一：方案介紹
華青融天根據(jù)用戶安全實(shí)踐需要，利用大數(shù)據(jù)分析和安全情報(bào)等最新技術(shù)，快速構(gòu)建企業(yè)級(jí)的日志管理分析和處置平臺(tái)。在海量日志數(shù)據(jù)中發(fā)現(xiàn)業(yè)務(wù)運(yùn)營(yíng)模型和規(guī)律，自動(dòng)識(shí)別用戶行為異常，實(shí)現(xiàn)交易風(fēng)險(xiǎn)控制，從而進(jìn)行商業(yè)智能分析和業(yè)務(wù)預(yù)測(cè)。
EZAccur目標(biāo)是：通過(guò)對(duì)廣泛的數(shù)據(jù)源進(jìn)行深層次的智能分析，對(duì)各類攻擊行為、網(wǎng)絡(luò)威脅產(chǎn)生深刻的洞察力，從而做出準(zhǔn)確的反擊或防御，幫助用戶實(shí)現(xiàn)行為可視、業(yè)務(wù)分析預(yù)測(cè)、實(shí)時(shí)異常檢測(cè)及風(fēng)險(xiǎn)管控等。
二：方案創(chuàng)新點(diǎn)
華青融天EZAccur是部署在網(wǎng)絡(luò)出口處和用戶內(nèi)網(wǎng)的軟件系統(tǒng)，可實(shí)時(shí)收集各類信息安全相關(guān)的日志信息和網(wǎng)絡(luò)流量，利用大數(shù)據(jù)技術(shù)進(jìn)行數(shù)據(jù)清洗、集中存儲(chǔ)和快速分析，基于規(guī)則關(guān)聯(lián)分析安全事件，并通過(guò)機(jī)器學(xué)習(xí)識(shí)別異常行為，準(zhǔn)確有效地評(píng)估安全風(fēng)險(xiǎn)，主動(dòng)發(fā)現(xiàn)系統(tǒng)所面臨的內(nèi)、外部攻擊及違規(guī)行為并實(shí)時(shí)告警。
在實(shí)際運(yùn)用中，與同類產(chǎn)品相比有以下創(chuàng)新點(diǎn)：
創(chuàng)新點(diǎn)一：智能日志分析
采用機(jī)器學(xué)習(xí)的方式解析日志智能正規(guī)化解析，無(wú)需人工的日志解析。
創(chuàng)新點(diǎn)二：圖形化和多元條件的告警規(guī)則編寫
滿足圖形化和復(fù)雜的規(guī)則編寫需求。
創(chuàng)新點(diǎn)三：高效的日志查詢
支持類似google的快速查詢功能，同時(shí)滿足全文模糊檢索及精確查詢需求。
創(chuàng)新點(diǎn)四：完全復(fù)原的日志上下文查詢
滿足運(yùn)維人員零學(xué)習(xí)成本的使用習(xí)慣遷移。
創(chuàng)新點(diǎn)五：基于日志特征，機(jī)器學(xué)習(xí)完成精確的應(yīng)用系統(tǒng)智能監(jiān)控、性能分析
三：技術(shù)介紹
1.系統(tǒng)內(nèi)部體系架構(gòu)
平臺(tái)采用B/S架構(gòu)設(shè)計(jì)，為普通應(yīng)用系統(tǒng)。
其內(nèi)部架構(gòu)設(shè)計(jì)如上圖，主要包括了幾個(gè)模塊：數(shù)據(jù)采集功能、數(shù)據(jù)流式處理模塊、數(shù)據(jù)存儲(chǔ)模塊、數(shù)據(jù)分析模塊、數(shù)據(jù)展示模式。
1)數(shù)據(jù)采集：負(fù)責(zé)各類型的日志采集（主動(dòng)采集方式、被動(dòng)接受方式）。
2)數(shù)據(jù)流式處理：負(fù)責(zé)大量日志數(shù)據(jù)的結(jié)構(gòu)化處理，以及資源相互協(xié)調(diào)。
3)數(shù)據(jù)存儲(chǔ)：對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、日志歸檔。
4)日志分析：提供海量數(shù)據(jù)的分布式搜索引擎，為用戶提供準(zhǔn)實(shí)時(shí)的搜索服務(wù)。
5)數(shù)據(jù)可視化：提供最簡(jiǎn)潔日志呈現(xiàn)的交互方式，如：儀表盤、報(bào)表。
2. 技術(shù)介紹
通過(guò)建設(shè)該項(xiàng)目，可有效打破日志數(shù)據(jù)之間的豎井，提高日志運(yùn)維的效率：
1)實(shí)時(shí)采集，并集中存儲(chǔ)分散在各服務(wù)器上的應(yīng)用和交易日志，可進(jìn)行長(zhǎng)期保存，避免出現(xiàn)日志流失。
2)通過(guò)關(guān)鍵字檢索的方式，快速查詢，聚焦到某筆出現(xiàn)故障的業(yè)務(wù)交易上，并可通過(guò)界面的關(guān)聯(lián)跳轉(zhuǎn)操作，把從A日志搜索的特征，帶入到B日志中進(jìn)行關(guān)聯(lián)查詢。
3)通過(guò)關(guān)鍵字和頻次的告警規(guī)則，實(shí)現(xiàn)基于日志的交易故障實(shí)時(shí)告警，對(duì)現(xiàn)有基礎(chǔ)架構(gòu)監(jiān)控加交易流量監(jiān)控的監(jiān)控體系提供有益的補(bǔ)充。
4)通過(guò)所見(jiàn)即所得的dashboard編輯，實(shí)現(xiàn)可自定義的統(tǒng)計(jì)圖表展示。
5)通過(guò)角色和權(quán)限的劃分，確保數(shù)據(jù)訪問(wèn)性，保證各系統(tǒng)管理員只能看到自己系統(tǒng)相關(guān)的數(shù)據(jù)內(nèi)容。
6)界面操作簡(jiǎn)便，不僅可以提供給運(yùn)維團(tuán)隊(duì)使用，也可提供給科技開(kāi)發(fā)人員使用。
3. 解決問(wèn)題
滿足客戶繁雜的運(yùn)維中生成的大量日志數(shù)據(jù)，無(wú)法有效集中管理和便捷查詢的基本需求；同時(shí)根據(jù)數(shù)據(jù)內(nèi)容和關(guān)聯(lián)特征來(lái)觸發(fā)及時(shí)預(yù)警和數(shù)據(jù)趨勢(shì)分析的高級(jí)分析。
4. 技術(shù)優(yōu)勢(shì)
1)采用先進(jìn)大數(shù)據(jù)架構(gòu)；
2)支持分析海量異構(gòu)數(shù)據(jù)；
3)圖形界面定義框架采用最先進(jìn)的插件平臺(tái)技術(shù)；
4)支持?jǐn)?shù)據(jù)存儲(chǔ)層面和標(biāo)準(zhǔn)數(shù)據(jù)接口層面的第三方接口對(duì)接；
5)EZAccur平臺(tái)成熟穩(wěn)定、性能高效，具備冗余、集群、負(fù)載均衡架構(gòu)；
6)滿足技術(shù)延展性需求，支持與其他機(jī)器數(shù)據(jù)進(jìn)融合。
四：產(chǎn)品特點(diǎn)
特點(diǎn)1：多源數(shù)據(jù)聚合的日志分析管理平臺(tái)
通過(guò)采集各類型設(shè)備日志和網(wǎng)絡(luò)流量，實(shí)時(shí)監(jiān)控網(wǎng)絡(luò)異常，利用日志檢索、關(guān)聯(lián)分析和實(shí)時(shí)展現(xiàn)全方位幫助用戶對(duì)運(yùn)維數(shù)據(jù)進(jìn)行存儲(chǔ)和實(shí)時(shí)利用。
特點(diǎn)2：智能正規(guī)化及數(shù)據(jù)解析，減少大量人為繁冗工作
具有智能日志解析功能，自動(dòng)解析日志內(nèi)容，匹配最佳實(shí)踐；減少人為干預(yù)和誤解析。
特點(diǎn)3：多維關(guān)聯(lián)分析和預(yù)警
通過(guò)機(jī)器學(xué)習(xí)、特征關(guān)聯(lián)分析來(lái)實(shí)現(xiàn)對(duì)日志內(nèi)容分析和預(yù)警；內(nèi)置上百種設(shè)備和系統(tǒng)日志解析規(guī)則和知識(shí)庫(kù)。
特點(diǎn)4：日志信息內(nèi)容細(xì)顆粒度可視
用戶可通過(guò)完全自由的google mapping的方式對(duì)日志內(nèi)容進(jìn)行檢索，豐富的可視化能力，通過(guò)對(duì)日志信息內(nèi)容多元維度的可視化，使企業(yè)具有對(duì)日志信息和內(nèi)容運(yùn)維和分析使用能力。
五：應(yīng)用場(chǎng)景及效果
1.統(tǒng)一的日志存儲(chǔ)，項(xiàng)目運(yùn)維人員第一時(shí)間定位日志；
2.實(shí)時(shí)分析日志數(shù)據(jù)，多維度分析問(wèn)題的報(bào)告；
3.多維度的監(jiān)控系統(tǒng)告警渠道，形成立體式告警機(jī)制；
4.統(tǒng)一的日志出口，權(quán)限管制統(tǒng)一歸結(jié)到運(yùn)維人員手中，做到數(shù)據(jù)信息的零泄露；
5.關(guān)聯(lián)復(fù)雜的系統(tǒng)業(yè)務(wù)，快速定位故障源系統(tǒng)；
6.大量潛在風(fēng)險(xiǎn)信息分析，做到根因分析、故障預(yù)測(cè)