華青融天基于大數(shù)據(jù)架構(gòu)的EZSonar性能交易分析平臺(tái),滿(mǎn)足銀行對(duì)于應(yīng)用系統(tǒng)智能監(jiān)控中的業(yè)務(wù)維度轉(zhuǎn)換和監(jiān)控短板,通過(guò)各類(lèi)報(bào)文數(shù)據(jù)維度,實(shí)現(xiàn)業(yè)務(wù)思路轉(zhuǎn)換,在定位故障的同時(shí),快速實(shí)現(xiàn)對(duì)業(yè)務(wù)交易的問(wèn)題影響和追蹤。
還滿(mǎn)足銀行行業(yè)對(duì)于數(shù)據(jù)監(jiān)管需求,通過(guò)統(tǒng)一的大數(shù)據(jù)平臺(tái)提供可視化工具,實(shí)現(xiàn)業(yè)務(wù)人員零技術(shù)基礎(chǔ)跟蹤交易數(shù)據(jù),達(dá)到零風(fēng)險(xiǎn)可管控的目標(biāo),大大降低了監(jiān)控軟件自身對(duì)業(yè)務(wù)軟件規(guī)格改造的需求,使得數(shù)據(jù)分析整理追蹤類(lèi)工作更簡(jiǎn)單高效。
一:方案介紹
隨著信息技術(shù)發(fā)展,信息系統(tǒng)監(jiān)控已經(jīng)成為保證銀行業(yè)務(wù)有效性與連貫性的關(guān)鍵。
在建立生產(chǎn)系統(tǒng)的故障發(fā)現(xiàn)與IT運(yùn)維預(yù)警機(jī)制的同時(shí),制定系統(tǒng)故障預(yù)測(cè)與預(yù)防方案,提高對(duì)系統(tǒng)故障的及時(shí)發(fā)現(xiàn)及預(yù)測(cè)管控,降低人力成本的投入等,對(duì)保證信息系統(tǒng)穩(wěn)定運(yùn)行和業(yè)務(wù)持續(xù)發(fā)展具有重大意義。
二:方案創(chuàng)新點(diǎn)
EZSonar應(yīng)用性能監(jiān)控系統(tǒng),是華青融天研發(fā)的基于大數(shù)據(jù)技術(shù)的應(yīng)用性能管理和網(wǎng)絡(luò)性能解決方案的產(chǎn)品軟件,目標(biāo)是:深入業(yè)務(wù)系統(tǒng)運(yùn)行和網(wǎng)絡(luò)狀態(tài)的黑箱,成為運(yùn)維管理員的聲納,讓故障根源點(diǎn)無(wú)處遁形。
通過(guò)對(duì)系統(tǒng)網(wǎng)絡(luò)流量數(shù)據(jù)的分析,實(shí)現(xiàn)對(duì)業(yè)務(wù)過(guò)程的端到端監(jiān)控,幫助運(yùn)維團(tuán)隊(duì)建設(shè)性能監(jiān)控平臺(tái)。通過(guò)交易成功率、響應(yīng)時(shí)間、交易量、業(yè)務(wù)流量等核心指標(biāo),結(jié)合靈活的多維分析指標(biāo),對(duì)業(yè)務(wù)過(guò)程進(jìn)行全面監(jiān)控,實(shí)現(xiàn)故障迅速定位,有效降低故障恢復(fù)時(shí)間,提高終端用戶(hù)體驗(yàn)。
創(chuàng)新點(diǎn)一:旁路數(shù)據(jù)采集技術(shù),數(shù)據(jù)分析更安全
使用物理交換機(jī)流量鏡像的方法,將部署在銀行AB兩個(gè)應(yīng)用之間的傳輸報(bào)文復(fù)制出來(lái),再通過(guò)解碼手段對(duì)報(bào)文進(jìn)行解析和格式化,從而達(dá)到數(shù)據(jù)傳輸監(jiān)聽(tīng)的目標(biāo)。該種方法無(wú)需在生產(chǎn)環(huán)境軟件中做任何變更,即可實(shí)現(xiàn)通訊分析目標(biāo)。
創(chuàng)新點(diǎn)二:報(bào)文含義映射關(guān)聯(lián)技術(shù),業(yè)務(wù)關(guān)聯(lián)分析更簡(jiǎn)單
在銀行業(yè)務(wù)內(nèi)部流傳的過(guò)程中,往往要經(jīng)過(guò)十幾個(gè)應(yīng)用集群之間的訪(fǎng)問(wèn),集群與集群之間往往采用不同的字段含義進(jìn)行傳輸,比如在A-B之間傳輸?shù)淖侄问?’,在B-C之間傳輸?shù)淖侄问?’看似1’與2’之間沒(méi)有任何聯(lián)系,但實(shí)際上通過(guò)A-B之間的數(shù)據(jù)就能找到1’而是用1’就能找到2’,從而實(shí)現(xiàn)了跨集群之間的交易追蹤。
創(chuàng)新點(diǎn)三:圖形框架交易追蹤技術(shù),零技術(shù)做到數(shù)據(jù)快速最終整理
對(duì)于銀行技術(shù)人員,最頭疼的莫過(guò)交易對(duì)賬,因?yàn)樗麄冃枰獜纳蟽|筆交易中梳理交易傳輸規(guī)范,參照交易類(lèi)型進(jìn)行逐條核對(duì),而在對(duì)照的過(guò)程中還存在入門(mén)條件高,投入工作量大,效率低下等問(wèn)題。
通過(guò)該創(chuàng)新點(diǎn),系統(tǒng)提供交易追蹤圖形框架,只需要輸入要追蹤交易的卡號(hào)、身份證號(hào)、手機(jī)號(hào)等信息,就可以快速幫助人工梳理海量交易數(shù)據(jù),實(shí)現(xiàn)了低門(mén)檻、速度快、精度高等目標(biāo)。
創(chuàng)新點(diǎn)四:異構(gòu)報(bào)文支持,打破了監(jiān)控系統(tǒng)對(duì)于業(yè)務(wù)系統(tǒng)數(shù)據(jù)傳輸規(guī)范的依賴(lài)
在銀行交易傳輸過(guò)程中,每種交易采用不同類(lèi)型的報(bào)文傳輸,交易與交易之間并無(wú)統(tǒng)一的報(bào)文規(guī)范,因此對(duì)于不同種類(lèi)的異構(gòu)報(bào)文類(lèi)型進(jìn)行解碼,形成統(tǒng)一的結(jié)構(gòu)整理輸出用于大數(shù)據(jù)分析使用。
當(dāng)前公司的探針程序已經(jīng)能夠識(shí)別高達(dá)幾百種不同類(lèi)型的報(bào)文規(guī)范,并能夠快速識(shí)別判斷報(bào)文類(lèi)型,解析出符合統(tǒng)一規(guī)范的交易數(shù)據(jù)。
三:技術(shù)介紹
1.總體技術(shù)框架
2.使用場(chǎng)景
場(chǎng)景一:旁路實(shí)時(shí)報(bào)文采集,通過(guò)探針解碼程序適配各類(lèi)異構(gòu)報(bào)文,整理后集中存儲(chǔ)分散在各服務(wù)器上的交易傳輸信息,并可隨時(shí)回溯。
場(chǎng)景二:通過(guò)關(guān)鍵字檢索和別名映射,快速關(guān)聯(lián)不同業(yè)務(wù)鏈路間的字段含義,實(shí)現(xiàn)全鏈路交易參數(shù)查詢(xún),當(dāng)想查詢(xún)某筆交易,只需了解客戶(hù)信息,就能夠通過(guò)界面的關(guān)聯(lián)跳轉(zhuǎn)操作,把某時(shí)間段內(nèi)發(fā)生在銀行內(nèi)部的全部交易展現(xiàn)追蹤出來(lái),并且通過(guò)詳情查看快速定位客戶(hù)交易失敗或交易行為類(lèi)查詢(xún)。
場(chǎng)景三:通過(guò)關(guān)鍵字和頻次的告警規(guī)則,實(shí)現(xiàn)基于交易故障實(shí)時(shí)告警,對(duì)現(xiàn)有交易監(jiān)控的交易流量提供有益幫助。
場(chǎng)景四:所見(jiàn)即所得的框架使用界面,實(shí)現(xiàn)零技術(shù)使用場(chǎng)景,降低人員投入。
場(chǎng)景五:通過(guò)角色和權(quán)限劃分,確保數(shù)據(jù)訪(fǎng)問(wèn)性,保證各系統(tǒng)管理員只能看到自己系統(tǒng)的數(shù)據(jù)內(nèi)容。
場(chǎng)景六:界面操作簡(jiǎn)便,不僅可以提供給運(yùn)維團(tuán)隊(duì),也可提供給科技開(kāi)發(fā)人員。
平臺(tái)包括:
數(shù)據(jù)采集:負(fù)責(zé)各類(lèi)型異構(gòu)報(bào)文數(shù)據(jù)采集、解密、結(jié)構(gòu)化整理。
數(shù)據(jù)流式處理:負(fù)責(zé)大量報(bào)文數(shù)據(jù)業(yè)務(wù)屬性定義。
數(shù)據(jù)存儲(chǔ):對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、數(shù)據(jù)歸檔。
關(guān)聯(lián)分析:業(yè)務(wù)屬性關(guān)聯(lián)含義映射,可提供海量數(shù)據(jù)的分布式搜索引擎,為用戶(hù)提供準(zhǔn)實(shí)時(shí)的搜索服務(wù)。
數(shù)據(jù)可視化:提供簡(jiǎn)潔的日志呈現(xiàn)交互方式,如儀表盤(pán)、報(bào)表。
3. 技術(shù)特點(diǎn)
1)采用先進(jìn)大數(shù)據(jù)架構(gòu)
Kafka+Elasticsearch+AI算法;
2)旁路應(yīng)用報(bào)文采集技術(shù)
交換機(jī)流量鏡像技術(shù),無(wú)需修改交易系統(tǒng);
3)旁路應(yīng)用報(bào)文解密技術(shù)
實(shí)現(xiàn)高達(dá)幾百種異構(gòu)報(bào)文自動(dòng)識(shí)別解碼,并統(tǒng)一輸出用于分析;
4)報(bào)文分析應(yīng)用含義映射關(guān)聯(lián)技術(shù)
實(shí)現(xiàn)AB、BC交易節(jié)點(diǎn)關(guān)鍵詞識(shí)別串聯(lián);
5)圖形框架交易追蹤技術(shù)
采用web框架,只需要輸入時(shí)間、身份證號(hào)、手機(jī)號(hào)、卡號(hào)就能追蹤任何時(shí)間段和交易節(jié)點(diǎn)之間傳輸?shù)娜拷灰祝?/p>
6)平臺(tái)成熟穩(wěn)定、性能高效,具備冗余、集群、負(fù)載均衡架構(gòu)
全部軟件支持分布式部署模式,銀行常用兩地三中心部署;
7)滿(mǎn)足技術(shù)延展性需求,支持不同類(lèi)型的交易報(bào)文關(guān)聯(lián)追蹤
四:產(chǎn)品特色
1. 微監(jiān)控
代表交易監(jiān)控顆粒度更細(xì)微,可體現(xiàn)為交易類(lèi)型,應(yīng)用節(jié)點(diǎn)等維度;
2. 輕告警
表示告警壓縮,排重,交易依賴(lài)等告警大量降低,從而變得真正有效;
3. 全鏈路
表示交易產(chǎn)生的全過(guò)程鏈路可追溯;
4. 慧分析
表示交易可視化通過(guò)報(bào)表、儀表盤(pán)、多維度分析等層面能夠滿(mǎn)足不同客戶(hù)不同層面的分析需求;
5. 快定位
表示為產(chǎn)品可以做到1分鐘內(nèi)交易故障快速定位。
五:應(yīng)用場(chǎng)景
1. 業(yè)務(wù)全流程監(jiān)控
系統(tǒng)需支持重點(diǎn)業(yè)務(wù)全流程的監(jiān)控,能幫助運(yùn)維人員梳理整個(gè)業(yè)務(wù)邏輯,不僅僅能直觀展現(xiàn)整個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)行狀態(tài),并且還能定位是何系統(tǒng)調(diào)用出現(xiàn)異常情況,輔助運(yùn)維人員實(shí)現(xiàn)對(duì)故障系統(tǒng)進(jìn)行快速定位。
2. 服務(wù)評(píng)級(jí)、體驗(yàn)評(píng)分
系統(tǒng)支持業(yè)務(wù)系統(tǒng)用戶(hù)體驗(yàn)場(chǎng)景評(píng)分,從用戶(hù)體驗(yàn)角度出發(fā),衡量系統(tǒng)的體驗(yàn)滿(mǎn)意度情況,提供滿(mǎn)意、容忍、失望等體驗(yàn)級(jí)別,幫助運(yùn)維人員服務(wù)用戶(hù)。
在大量業(yè)務(wù)交易記錄中,支持指定時(shí)間內(nèi)依據(jù)交易類(lèi)型、交易渠道等多維度篩選,提供交易詳細(xì)指標(biāo)導(dǎo)出等,幫助運(yùn)維人員對(duì)交易數(shù)據(jù)實(shí)時(shí)分析,協(xié)助交易數(shù)據(jù)上報(bào)。
3.節(jié)日保障和業(yè)績(jī)實(shí)時(shí)展現(xiàn)
系統(tǒng)支持重大節(jié)日(雙十一、雙十二、618、年終大促)的場(chǎng)景監(jiān)控。
可以從節(jié)日保障的角度,通過(guò)自定義交易面板,監(jiān)控在線(xiàn)的用戶(hù)數(shù)、交易金額、交易筆數(shù)等,方便從業(yè)務(wù)角度實(shí)時(shí)感知節(jié)日的保障成果。
另外,支持不同的運(yùn)維場(chǎng)景(如災(zāi)備切換、系統(tǒng)上線(xiàn)等),通過(guò)完全自定義,實(shí)現(xiàn)基于任意監(jiān)控指標(biāo)的定制儀表盤(pán),幫助業(yè)務(wù)保障人員對(duì)節(jié)日重保業(yè)務(wù)的實(shí)時(shí)動(dòng)態(tài)交易進(jìn)行監(jiān)控。