華青融天中信銀行流量采集異構(gòu)數(shù)據(jù)交易追蹤場(chǎng)景
華青融天基于大數(shù)據(jù)架構(gòu)的EZSonar性能交易分析平臺(tái)，滿足銀行對(duì)于應(yīng)用系統(tǒng)智能監(jiān)控中的業(yè)務(wù)維度轉(zhuǎn)換和監(jiān)控短板，通過各類報(bào)文數(shù)據(jù)維度，實(shí)現(xiàn)業(yè)務(wù)思路轉(zhuǎn)換，在定位故障的同時(shí)，快速實(shí)現(xiàn)對(duì)業(yè)務(wù)交易的問題影響和追蹤。
還滿足銀行行業(yè)對(duì)于數(shù)據(jù)監(jiān)管需求，通過統(tǒng)一的大數(shù)據(jù)平臺(tái)提供可視化工具，實(shí)現(xiàn)業(yè)務(wù)人員零技術(shù)基礎(chǔ)跟蹤交易數(shù)據(jù)，達(dá)到零風(fēng)險(xiǎn)可管控的目標(biāo)，大大降低了監(jiān)控軟件自身對(duì)業(yè)務(wù)軟件規(guī)格改造的需求，使得數(shù)據(jù)分析整理追蹤類工作更簡(jiǎn)單高效。
一：方案介紹
隨著信息技術(shù)發(fā)展，信息系統(tǒng)監(jiān)控已經(jīng)成為保證銀行業(yè)務(wù)有效性與連貫性的關(guān)鍵。
在建立生產(chǎn)系統(tǒng)的故障發(fā)現(xiàn)與IT運(yùn)維預(yù)警機(jī)制的同時(shí)，制定系統(tǒng)故障預(yù)測(cè)與預(yù)防方案，提高對(duì)系統(tǒng)故障的及時(shí)發(fā)現(xiàn)及預(yù)測(cè)管控，降低人力成本的投入等，對(duì)保證信息系統(tǒng)穩(wěn)定運(yùn)行和業(yè)務(wù)持續(xù)發(fā)展具有重大意義。
二：方案創(chuàng)新點(diǎn)
EZSonar應(yīng)用性能監(jiān)控系統(tǒng)，是華青融天研發(fā)的基于大數(shù)據(jù)技術(shù)的應(yīng)用性能管理和網(wǎng)絡(luò)性能解決方案的產(chǎn)品軟件，目標(biāo)是：深入業(yè)務(wù)系統(tǒng)運(yùn)行和網(wǎng)絡(luò)狀態(tài)的黑箱，成為運(yùn)維管理員的聲納，讓故障根源點(diǎn)無處遁形。
通過對(duì)系統(tǒng)網(wǎng)絡(luò)流量數(shù)據(jù)的分析，實(shí)現(xiàn)對(duì)業(yè)務(wù)過程的端到端監(jiān)控，幫助運(yùn)維團(tuán)隊(duì)建設(shè)性能監(jiān)控平臺(tái)。通過交易成功率、響應(yīng)時(shí)間、交易量、業(yè)務(wù)流量等核心指標(biāo)，結(jié)合靈活的多維分析指標(biāo)，對(duì)業(yè)務(wù)過程進(jìn)行全面監(jiān)控，實(shí)現(xiàn)故障迅速定位，有效降低故障恢復(fù)時(shí)間，提高終端用戶體驗(yàn)。
創(chuàng)新點(diǎn)一：旁路數(shù)據(jù)采集技術(shù)，數(shù)據(jù)分析更安全
使用物理交換機(jī)流量鏡像的方法，將部署在銀行AB兩個(gè)應(yīng)用之間的傳輸報(bào)文復(fù)制出來，再通過解碼手段對(duì)報(bào)文進(jìn)行解析和格式化，從而達(dá)到數(shù)據(jù)傳輸監(jiān)聽的目標(biāo)。該種方法無需在生產(chǎn)環(huán)境軟件中做任何變更，即可實(shí)現(xiàn)通訊分析目標(biāo)。
創(chuàng)新點(diǎn)二：報(bào)文含義映射關(guān)聯(lián)技術(shù)，業(yè)務(wù)關(guān)聯(lián)分析更簡(jiǎn)單
在銀行業(yè)務(wù)內(nèi)部流傳的過程中，往往要經(jīng)過十幾個(gè)應(yīng)用集群之間的訪問，集群與集群之間往往采用不同的字段含義進(jìn)行傳輸，比如在A-B之間傳輸?shù)淖侄问?’,在B-C之間傳輸?shù)淖侄问?’看似1’與2’之間沒有任何聯(lián)系，但實(shí)際上通過A-B之間的數(shù)據(jù)就能找到1’而是用1’就能找到2’，從而實(shí)現(xiàn)了跨集群之間的交易追蹤。
創(chuàng)新點(diǎn)三：圖形框架交易追蹤技術(shù)，零技術(shù)做到數(shù)據(jù)快速最終整理
對(duì)于銀行技術(shù)人員，最頭疼的莫過交易對(duì)賬，因?yàn)樗麄冃枰獜纳蟽|筆交易中梳理交易傳輸規(guī)范，參照交易類型進(jìn)行逐條核對(duì)，而在對(duì)照的過程中還存在入門條件高，投入工作量大，效率低下等問題。
通過該創(chuàng)新點(diǎn)，系統(tǒng)提供交易追蹤圖形框架，只需要輸入要追蹤交易的卡號(hào)、身份證號(hào)、手機(jī)號(hào)等信息，就可以快速幫助人工梳理海量交易數(shù)據(jù)，實(shí)現(xiàn)了低門檻、速度快、精度高等目標(biāo)。
創(chuàng)新點(diǎn)四：異構(gòu)報(bào)文支持，打破了監(jiān)控系統(tǒng)對(duì)于業(yè)務(wù)系統(tǒng)數(shù)據(jù)傳輸規(guī)范的依賴
在銀行交易傳輸過程中，每種交易采用不同類型的報(bào)文傳輸，交易與交易之間并無統(tǒng)一的報(bào)文規(guī)范，因此對(duì)于不同種類的異構(gòu)報(bào)文類型進(jìn)行解碼，形成統(tǒng)一的結(jié)構(gòu)整理輸出用于大數(shù)據(jù)分析使用。
當(dāng)前公司的探針程序已經(jīng)能夠識(shí)別高達(dá)幾百種不同類型的報(bào)文規(guī)范，并能夠快速識(shí)別判斷報(bào)文類型，解析出符合統(tǒng)一規(guī)范的交易數(shù)據(jù)。
三：技術(shù)介紹
1.總體技術(shù)框架
2.使用場(chǎng)景
場(chǎng)景一：旁路實(shí)時(shí)報(bào)文采集，通過探針解碼程序適配各類異構(gòu)報(bào)文，整理后集中存儲(chǔ)分散在各服務(wù)器上的交易傳輸信息，并可隨時(shí)回溯。
場(chǎng)景二：通過關(guān)鍵字檢索和別名映射，快速關(guān)聯(lián)不同業(yè)務(wù)鏈路間的字段含義，實(shí)現(xiàn)全鏈路交易參數(shù)查詢，當(dāng)想查詢某筆交易，只需了解客戶信息，就能夠通過界面的關(guān)聯(lián)跳轉(zhuǎn)操作，把某時(shí)間段內(nèi)發(fā)生在銀行內(nèi)部的全部交易展現(xiàn)追蹤出來，并且通過詳情查看快速定位客戶交易失敗或交易行為類查詢。
場(chǎng)景三：通過關(guān)鍵字和頻次的告警規(guī)則，實(shí)現(xiàn)基于交易故障實(shí)時(shí)告警，對(duì)現(xiàn)有交易監(jiān)控的交易流量提供有益幫助。
場(chǎng)景四：所見即所得的框架使用界面，實(shí)現(xiàn)零技術(shù)使用場(chǎng)景，降低人員投入。
場(chǎng)景五：通過角色和權(quán)限劃分，確保數(shù)據(jù)訪問性，保證各系統(tǒng)管理員只能看到自己系統(tǒng)的數(shù)據(jù)內(nèi)容。
場(chǎng)景六：界面操作簡(jiǎn)便，不僅可以提供給運(yùn)維團(tuán)隊(duì)，也可提供給科技開發(fā)人員。
平臺(tái)包括：
數(shù)據(jù)采集：負(fù)責(zé)各類型異構(gòu)報(bào)文數(shù)據(jù)采集、解密、結(jié)構(gòu)化整理。
數(shù)據(jù)流式處理：負(fù)責(zé)大量報(bào)文數(shù)據(jù)業(yè)務(wù)屬性定義。
數(shù)據(jù)存儲(chǔ)：對(duì)數(shù)據(jù)進(jìn)行分布式存儲(chǔ)、數(shù)據(jù)歸檔。
關(guān)聯(lián)分析：業(yè)務(wù)屬性關(guān)聯(lián)含義映射，可提供海量數(shù)據(jù)的分布式搜索引擎，為用戶提供準(zhǔn)實(shí)時(shí)的搜索服務(wù)。
數(shù)據(jù)可視化：提供簡(jiǎn)潔的日志呈現(xiàn)交互方式，如儀表盤、報(bào)表。
3. 技術(shù)特點(diǎn)
1)采用先進(jìn)大數(shù)據(jù)架構(gòu)
Kafka+Elasticsearch+AI算法；
2)旁路應(yīng)用報(bào)文采集技術(shù)
交換機(jī)流量鏡像技術(shù)，無需修改交易系統(tǒng)；
3)旁路應(yīng)用報(bào)文解密技術(shù)
實(shí)現(xiàn)高達(dá)幾百種異構(gòu)報(bào)文自動(dòng)識(shí)別解碼，并統(tǒng)一輸出用于分析；
4)報(bào)文分析應(yīng)用含義映射關(guān)聯(lián)技術(shù)
實(shí)現(xiàn)AB、BC交易節(jié)點(diǎn)關(guān)鍵詞識(shí)別串聯(lián)；
5)圖形框架交易追蹤技術(shù)
采用web框架，只需要輸入時(shí)間、身份證號(hào)、手機(jī)號(hào)、卡號(hào)就能追蹤任何時(shí)間段和交易節(jié)點(diǎn)之間傳輸?shù)娜拷灰祝?/p>
6)平臺(tái)成熟穩(wěn)定、性能高效，具備冗余、集群、負(fù)載均衡架構(gòu)
全部軟件支持分布式部署模式，銀行常用兩地三中心部署；
7)滿足技術(shù)延展性需求，支持不同類型的交易報(bào)文關(guān)聯(lián)追蹤
四：產(chǎn)品特色
1. 微監(jiān)控
代表交易監(jiān)控顆粒度更細(xì)微，可體現(xiàn)為交易類型，應(yīng)用節(jié)點(diǎn)等維度；
2. 輕告警
表示告警壓縮，排重，交易依賴等告警大量降低，從而變得真正有效；
3. 全鏈路
表示交易產(chǎn)生的全過程鏈路可追溯；
4. 慧分析
表示交易可視化通過報(bào)表、儀表盤、多維度分析等層面能夠滿足不同客戶不同層面的分析需求；
5. 快定位
表示為產(chǎn)品可以做到1分鐘內(nèi)交易故障快速定位。
五：應(yīng)用場(chǎng)景
1. 業(yè)務(wù)全流程監(jiān)控
系統(tǒng)需支持重點(diǎn)業(yè)務(wù)全流程的監(jiān)控，能幫助運(yùn)維人員梳理整個(gè)業(yè)務(wù)邏輯，不僅僅能直觀展現(xiàn)整個(gè)業(yè)務(wù)系統(tǒng)的運(yùn)行狀態(tài)，并且還能定位是何系統(tǒng)調(diào)用出現(xiàn)異常情況，輔助運(yùn)維人員實(shí)現(xiàn)對(duì)故障系統(tǒng)進(jìn)行快速定位。
2. 服務(wù)評(píng)級(jí)、體驗(yàn)評(píng)分
系統(tǒng)支持業(yè)務(wù)系統(tǒng)用戶體驗(yàn)場(chǎng)景評(píng)分，從用戶體驗(yàn)角度出發(fā)，衡量系統(tǒng)的體驗(yàn)滿意度情況，提供滿意、容忍、失望等體驗(yàn)級(jí)別，幫助運(yùn)維人員服務(wù)用戶。
在大量業(yè)務(wù)交易記錄中，支持指定時(shí)間內(nèi)依據(jù)交易類型、交易渠道等多維度篩選，提供交易詳細(xì)指標(biāo)導(dǎo)出等，幫助運(yùn)維人員對(duì)交易數(shù)據(jù)實(shí)時(shí)分析，協(xié)助交易數(shù)據(jù)上報(bào)。
3.節(jié)日保障和業(yè)績(jī)實(shí)時(shí)展現(xiàn)
系統(tǒng)支持重大節(jié)日（雙十一、雙十二、618、年終大促）的場(chǎng)景監(jiān)控。
可以從節(jié)日保障的角度，通過自定義交易面板，監(jiān)控在線的用戶數(shù)、交易金額、交易筆數(shù)等，方便從業(yè)務(wù)角度實(shí)時(shí)感知節(jié)日的保障成果。
另外，支持不同的運(yùn)維場(chǎng)景（如災(zāi)備切換、系統(tǒng)上線等），通過完全自定義，實(shí)現(xiàn)基于任意監(jiān)控指標(biāo)的定制儀表盤，幫助業(yè)務(wù)保障人員對(duì)節(jié)日重保業(yè)務(wù)的實(shí)時(shí)動(dòng)態(tài)交易進(jìn)行監(jiān)控。
