隨著移動互聯(lián)網技術的高速發(fā)展，運營商的數據量呈指數級增長。如何利用海量數據資源進行價值和商業(yè)變現，成為運營商提高核心競爭力、搶占市場先機的關鍵。ETL(數據倉庫技術)作為數據信息轉換的一種主要技術手段，是將業(yè)務系統(tǒng)的數據經過抽取、清洗轉換之后加載到數據中心的重要工具。隨著數據量的增長及業(yè)務場景的變化，取數和計算范圍不斷擴充，整個ETL過程的調度也日益復雜，這不僅帶來運維成本的增加，也讓數據生產質量難于保障。為此，運營商迫切需要尋求新的技術手段。
中興軟創(chuàng)結合多年的項目運營服務支撐經驗，提出構建全程調度平臺解決方案。方案包含進度自動預測、異常監(jiān)控告警、數據血緣分析等功能，實現從數據匯聚、數據處理到數據服務的全流程調度能力，有效協(xié)助運營商提升數據處理效率，滿足其處理海量數據和復雜業(yè)務場景的需求。
全程調度平臺解決方案構建了三層立體式調度體系：
第一層端到端調度，從業(yè)務角度出發(fā)，提供松耦合、端到端的調度和監(jiān)控功能。以數據為中心，通過數據節(jié)點組織數據、數據依賴關系、生產流程任務，實現調度信息一點化管理。通過構建360度調度運行視圖，洞悉整個數據中心的調度運行情況，提供可視化實時監(jiān)控。
第二層流程級調度，通過流程引擎控制任務之間的依賴關系，允許任務并行或串行執(zhí)行。支持任務同步或異步執(zhí)行，縮短整個流程執(zhí)行時間，提升運行效率。
第三層任務調度，通過正式發(fā)布的任務，進行任務執(zhí)行策略和調度策略，實現任務程序的周期性、臨時性或實時不間斷運行。任務調度實現數據中心多計算集群任務的統(tǒng)一配置和協(xié)同運行，優(yōu)化系統(tǒng)資源調配。
2017年，中興軟創(chuàng)全程調度平臺在湖南電信率先上線。目前已承接了湖南電信數據中心的10000+數據加工處理任務，問題查證率提高50%。同時數據質量覆蓋度提升至98%，人員培訓周期由1個月縮短到7天，節(jié)省了60%的人力成本。該平臺逐步成為湖南電信數據中心的連接器，以高質量、高效、敏捷、安全的手段支撐湖南電信內外數據需求。
