12月17日，由中國信息協(xié)會大數(shù)據(jù)分會主辦的“2021中國大數(shù)據(jù)技術(shù)應(yīng)用大會”在北京圓滿落幕。來自中國信息協(xié)會、中國工程院、國家信息中心、中國軟件評測中心、中國金融認證中心等的權(quán)威專家、知名企業(yè)代表出席本次大會，對大數(shù)據(jù)的需求、應(yīng)用和產(chǎn)業(yè)發(fā)展進行了深度探討。大會重磅發(fā)布“2021中國大數(shù)據(jù)應(yīng)用樣板100例”，「DataPipeline助力山東城商行聯(lián)盟構(gòu)建企業(yè)級數(shù)據(jù)庫準實時數(shù)據(jù)采集系統(tǒng)」案例成功入選。
《2021中國大數(shù)據(jù)應(yīng)用樣板100例》意在表彰2021年度實施的重點大數(shù)據(jù)標桿案例，案例信息將被呈報到國務(wù)院各直屬機構(gòu)信息中心、各省市經(jīng)濟和信息化主管部門、各大央國企等龍頭企業(yè)、國家及省級產(chǎn)業(yè)聯(lián)盟協(xié)會等，為相關(guān)部門提供數(shù)字化轉(zhuǎn)型方案應(yīng)用范本及決策參考，并起到行業(yè)示范引領(lǐng)效應(yīng)。
實時數(shù)據(jù)管理
業(yè)務(wù)創(chuàng)新發(fā)展必然保障
作為全國唯一持有金融牌照的中小銀行金融科技服務(wù)公司，山東城商行聯(lián)盟為中小銀行提供全方位的信息科技解決方案以及多元服務(wù)，致力于打造賦能中小銀行、開放共享的金融科技生態(tài)平臺。
山東城商行聯(lián)盟認為，中小金融機構(gòu)是普惠金融的主要力量。當前經(jīng)濟社會互聯(lián)網(wǎng)化、數(shù)字化程度正在快速加深，普惠金融的消費模式和金融服務(wù)供給模式正在發(fā)生深刻變化的形勢下，只有借助金融科技的力量，實現(xiàn)傳統(tǒng)普惠金融服務(wù)與管理、運營模式向數(shù)字化普惠金融的轉(zhuǎn)變，才能有效獲客、有效控制傳統(tǒng)模式下難以控制的金融風(fēng)險，才能提高普惠金融的服務(wù)觸達范圍和能力，進而實現(xiàn)普惠金融的可持續(xù)發(fā)展。
經(jīng)過10多年的電子化發(fā)展、信息化建設(shè)，山東城商行聯(lián)盟積累了海量的數(shù)據(jù)，如何利用好這些數(shù)據(jù)成為了聯(lián)盟應(yīng)對新形勢挑戰(zhàn)、謀求轉(zhuǎn)型發(fā)展的重要課題。相對于大型商業(yè)銀行，降低運營成本、提升客戶體驗、提高營銷能力等轉(zhuǎn)型工作對于以山東城商行聯(lián)盟為代表的的城市商業(yè)銀行在科技創(chuàng)新發(fā)展上更為關(guān)鍵。
隨著數(shù)據(jù)應(yīng)用的深入，成員行業(yè)務(wù)部門不斷提出更復(fù)雜的實時數(shù)據(jù)加工需求，新需求的加工復(fù)雜度持續(xù)升高、使用場景持續(xù)擴展、交付效率持續(xù)加快、運營質(zhì)量要求持續(xù)提升。為提升實時數(shù)據(jù)支撐能力，山東城商行聯(lián)盟開始啟動實時數(shù)據(jù)體系建設(shè)。該體系需要實現(xiàn)綜合業(yè)務(wù)系統(tǒng)CBUS、外聯(lián)業(yè)務(wù)處理平臺XBUS、ESB服務(wù)總線、電子銀行等系統(tǒng)的數(shù)據(jù)實時采集、同步、分發(fā)。如何打通Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)管理技術(shù)，實現(xiàn)每日產(chǎn)生的數(shù)億條數(shù)據(jù)的整合，成為聯(lián)盟亟待解決的問題。
攜手DataPipeline
構(gòu)筑全域數(shù)據(jù)管理基礎(chǔ)平臺堅實底座
山東城商行聯(lián)盟在過往服務(wù)成員行過程中，業(yè)務(wù)端在取數(shù)時，首先需要將各數(shù)據(jù)源通過CDC模式將數(shù)據(jù)實時同步至中間庫；其次，源端數(shù)據(jù)同步至中間庫后，通過CDC實時下發(fā)至各個下游用數(shù)方。在該過程中，由于上游發(fā)版頻繁，中間庫的數(shù)據(jù)結(jié)構(gòu)均需要相應(yīng)變動，數(shù)據(jù)同步過程中系統(tǒng)維護工作量較大地影響了數(shù)據(jù)應(yīng)用方的取數(shù)時效性。為了能夠更好地服務(wù)聯(lián)盟成員行，山東城商行聯(lián)盟需要重新構(gòu)建統(tǒng)一的數(shù)據(jù)庫準實時數(shù)據(jù)采集系統(tǒng)，實現(xiàn)通過數(shù)據(jù)流平臺近實時地向各外圍系統(tǒng)供數(shù)的目的，進而及時高效地支持成員行的運營、市場、銷售等實時業(yè)務(wù)需求。
數(shù)據(jù)庫準實時數(shù)據(jù)采集系統(tǒng)項目架構(gòu)
山東城商行聯(lián)盟通過產(chǎn)品調(diào)研、可行性分析、POC驗證，選擇DataPipeline數(shù)見科技作為合作伙伴共同完成數(shù)據(jù)庫實時數(shù)據(jù)采集系統(tǒng)項目的實施。其主要原因為：DataPipeline企業(yè)級實時數(shù)據(jù)融合平臺可實現(xiàn)數(shù)據(jù)的秒級實時采集，產(chǎn)品具備統(tǒng)一易用的人性化操作界面，豐富的配置策略可實現(xiàn)對資源的高效充分利用，產(chǎn)品同時具有標準化遵循與前瞻性判斷前提下的開放可擴展性，當然最重要的是其金融級的穩(wěn)定高容錯能力。DataPipeline助力山東省城商行聯(lián)盟構(gòu)建的企業(yè)級數(shù)據(jù)庫實時數(shù)據(jù)采集系統(tǒng)對于推動聯(lián)盟實現(xiàn)數(shù)字化轉(zhuǎn)型、數(shù)據(jù)規(guī)范化和集約化管理、賦能企業(yè)經(jīng)營及增強其持久核心競爭力具有重要意義。方案技術(shù)亮點包括：
●穩(wěn)定高容錯：具備足夠的策略配置與容錯機制來應(yīng)對上下游系統(tǒng)不穩(wěn)定帶來的不確定性。
√提供完善的結(jié)構(gòu)變化應(yīng)對策略，能夠按照不同的場景進行取舍與配置，從而保證自身的穩(wěn)定性。
√擁有強大的反壓處理機制和靈活的讀取、寫入限制配置，可以通過控制讀取速率、并行度、批次大小的方式，實現(xiàn)增量數(shù)據(jù)反壓的處理，從而保證自身的穩(wěn)定性。
√提供預(yù)設(shè)策略在無計劃的網(wǎng)絡(luò)不可用、出現(xiàn)未知異常等情況下進行重新連接，重置線程乃至重啟任務(wù)等自動化操作，從而保證自身的穩(wěn)定性。
●便捷可管理：具備配置便捷，部署便捷，分層管理，按需服務(wù)的可管理特性。
√配置式鏈路定義，無代碼任務(wù)構(gòu)建，運行管理，運維管理配置化，從原有的研發(fā)模式轉(zhuǎn)變?yōu)橄到y(tǒng)配置管理模式。
√容器化部署、系統(tǒng)資源注冊、負載平衡機制和高度配置化的系統(tǒng)資源分組管理。
√對數(shù)據(jù)節(jié)點注冊、數(shù)據(jù)鏈路配置、數(shù)據(jù)任務(wù)構(gòu)建、系統(tǒng)資源分配等各個環(huán)節(jié)能夠分層次、分用戶進行解耦。
√將數(shù)據(jù)獲取的范圍、數(shù)據(jù)任務(wù)的生命周期、系統(tǒng)資源投入的多寡等配置交給使用數(shù)據(jù)的人員。
●開放可擴展：開放可擴展的前提在于標準化的遵循與技術(shù)趨勢的前瞻性判斷。
√適應(yīng)不同的數(shù)據(jù)管理技術(shù)，為用戶提供基于開放式、國際通用標準的自定義數(shù)據(jù)節(jié)點。
√支持不同類型數(shù)據(jù)節(jié)點標準化語義定義，多元異構(gòu)語義融合，用戶可以自定義節(jié)點間語義轉(zhuǎn)化關(guān)系，保證實時數(shù)據(jù)融合過程順利有效。
√將三類配置解耦，可以在不改變基本邏輯架構(gòu)的情況下，實現(xiàn)配置和功能的良好擴展。適應(yīng)實時數(shù)據(jù)融合管理機制的不斷發(fā)展。
向?qū)崟r數(shù)據(jù)要效益
激發(fā)運營與管理數(shù)智化再升級
自項目實施以來，系統(tǒng)實現(xiàn)Oracle、IBM DB2、MySQL、Kafka等多種數(shù)據(jù)庫近實時的數(shù)據(jù)采集功能，并對數(shù)據(jù)源建立高效的管理功能，實現(xiàn)對數(shù)據(jù)源、目的地的數(shù)據(jù)連接統(tǒng)一管理管理，通過界面進行數(shù)據(jù)源與目的地注冊，刪除數(shù)據(jù)源，同時根據(jù)需求不斷迭代支持新的數(shù)據(jù)庫。
利用解析數(shù)據(jù)庫歸檔日志的方式，系統(tǒng)實現(xiàn)秒級的數(shù)據(jù)變更捕獲，將解析的變更記錄傳送到數(shù)據(jù)目的地中，包括日志中提取數(shù)據(jù)變更的增、刪、改等DML操作記錄，以及新增表、刪除表、添加字段、刪除字段等自動同步到目的地中。
全域數(shù)據(jù)實時融合的價值愈發(fā)重要，是加速數(shù)據(jù)流通、從而提升經(jīng)營效率構(gòu)建差異性競爭優(yōu)勢的重要手段。該項目平臺實現(xiàn)各系統(tǒng)的打通與關(guān)聯(lián)，覆蓋多層次客戶服務(wù)體系，強化了線上業(yè)務(wù)服務(wù)和資產(chǎn)配置等綜合實力。該項目的實施提升了幾十家成員行的獲客能力和精準個性化服務(wù)水平，助力成員行運營與管理數(shù)智化再升級。同時，簡單易用的數(shù)據(jù)同步機制可以降低應(yīng)對各種實時數(shù)據(jù)應(yīng)用場景的成本，提高數(shù)據(jù)的復(fù)用度，高效釋放數(shù)據(jù)價值。
山東城商行聯(lián)盟數(shù)據(jù)庫準實時數(shù)據(jù)采集系統(tǒng)的實施是堅持市場驅(qū)動和創(chuàng)新驅(qū)動，充分發(fā)揮技術(shù)和數(shù)據(jù)要素價值的具體體現(xiàn)，在業(yè)界又創(chuàng)立一個數(shù)據(jù)管理典范并形成了可復(fù)制經(jīng)驗。未來，聯(lián)盟也將進一步發(fā)揮全域數(shù)據(jù)管理基礎(chǔ)平臺優(yōu)勢，以“賦能中小銀行，簡單金融科技”為使命，一如既往為金融機構(gòu)提供全方位、高水平的信息科技服務(wù)。
