隨著互聯(lián)網(wǎng)、云計(jì)算等新興技術(shù)被廣泛使用，數(shù)據(jù)呈爆炸式增長(zhǎng)，存放于二級(jí)存儲(chǔ)中的非生產(chǎn)數(shù)據(jù)逐年累積占比高達(dá)80%，且涉及大量隱私信息，從數(shù)據(jù)使用與安全管理上暴露出存儲(chǔ)資源浪費(fèi)、硬件成本上升、數(shù)據(jù)交付效率低下的問(wèn)題，直接威脅著各市場(chǎng)主體在數(shù)據(jù)使用方面的安全性。
同時(shí)，實(shí)際的數(shù)據(jù)使用場(chǎng)景中企業(yè)數(shù)據(jù)需經(jīng)過(guò)上中下游的流轉(zhuǎn)，各個(gè)環(huán)節(jié)都面臨著不同的管理難度和安全威脅，其中上游數(shù)據(jù)來(lái)源于生產(chǎn)環(huán)境，主要面臨著數(shù)據(jù)丟失與數(shù)據(jù)安全問(wèn)題，為此企業(yè)需要建立完備的數(shù)據(jù)備份方案，保障業(yè)務(wù)持續(xù)；中游數(shù)據(jù)處在中間環(huán)節(jié)需要進(jìn)行脫敏，保障提供到下游的數(shù)據(jù)安全可靠，嚴(yán)防隱私數(shù)據(jù)泄露；下游環(huán)節(jié)則亟需一種快速分發(fā)與流轉(zhuǎn)的方式交付測(cè)試數(shù)據(jù)，提高開(kāi)發(fā)測(cè)試等輔助業(yè)務(wù)場(chǎng)景的處理效率。整個(gè)數(shù)據(jù)使用的管理應(yīng)具備集中的流程、統(tǒng)一的管理，而不是多個(gè)方案的拼湊缺乏一致性。與此同時(shí)，為貫徹落實(shí)數(shù)據(jù)安全法規(guī)，幫助企業(yè)實(shí)現(xiàn)對(duì)數(shù)據(jù)安全與效率的雙重管控，本期發(fā)布牛品推薦——上訊信息：敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品。
標(biāo)簽
數(shù)據(jù)存儲(chǔ)、虛擬庫(kù)獨(dú)立操作、分鐘級(jí)交付、數(shù)據(jù)可視化、數(shù)據(jù)分類分級(jí)、數(shù)據(jù)仿真脫敏
用戶痛點(diǎn)
當(dāng)前企業(yè)信息化建設(shè)的重點(diǎn)是推進(jìn)產(chǎn)業(yè)數(shù)字化轉(zhuǎn)型，面對(duì)企業(yè)信息化建設(shè)體系中最為重要的數(shù)據(jù)資產(chǎn)，不僅要保證生產(chǎn)數(shù)據(jù)得到可靠的保護(hù)，也要保證非生產(chǎn)數(shù)據(jù)得到有效的管控。企業(yè)為了滿足開(kāi)發(fā)測(cè)試、容災(zāi)、備份、數(shù)據(jù)分析等次級(jí)工作負(fù)載的需求，往往需要復(fù)制多份數(shù)據(jù)副本。冗余的數(shù)據(jù)副本雖然滿足了企業(yè)對(duì)數(shù)據(jù)全方位管理的需求，但是其在經(jīng)濟(jì)性、效率和安全性等方面也遇到了一些問(wèn)題：
第一，需要投入更多不必要的存儲(chǔ)開(kāi)支，以滿足數(shù)據(jù)冗余副本的存儲(chǔ)需求，因此產(chǎn)生了大量的數(shù)據(jù)孤島，影響數(shù)據(jù)的回收；
第二，數(shù)據(jù)準(zhǔn)備時(shí)間周期長(zhǎng)，傳統(tǒng)方式依靠人工拷貝需要3人以上、耗費(fèi)數(shù)天甚至月余時(shí)間準(zhǔn)備數(shù)據(jù)；
第三，數(shù)據(jù)安全存在風(fēng)險(xiǎn)，生產(chǎn)數(shù)據(jù)往往包含了用戶的敏感信息，如身份證號(hào)碼、聯(lián)系方式、地址等，這些數(shù)據(jù)一旦泄露，將給組織和用戶帶來(lái)負(fù)面影響。
因此，企業(yè)用戶需要一套針對(duì)數(shù)據(jù)的采集、傳輸、存儲(chǔ)、使用、流轉(zhuǎn)等各個(gè)關(guān)鍵環(huán)節(jié)進(jìn)行管理的整體方案，其中數(shù)據(jù)采集可結(jié)合傳統(tǒng)的數(shù)據(jù)庫(kù)備份技術(shù)，但針對(duì)已有備份數(shù)據(jù)的恢復(fù)尚缺乏工具支持；針對(duì)副本數(shù)據(jù)缺乏快速、節(jié)約存儲(chǔ)的交付方式；針對(duì)數(shù)據(jù)脫敏的解決方案缺乏與數(shù)據(jù)交付相結(jié)合的快速分發(fā)功能。
解決方案
敏捷數(shù)據(jù)管理平臺(tái)（Agile Data Management）簡(jiǎn)稱ADM，是國(guó)內(nèi)副本數(shù)據(jù)管理（CDM）領(lǐng)域的首創(chuàng)產(chǎn)品，重點(diǎn)攻克數(shù)據(jù)庫(kù)虛擬化等核心技術(shù)，主要針對(duì)企業(yè)上中下游數(shù)據(jù)提供高效使用與安全管控的綜合數(shù)據(jù)治理解決方案。在保證數(shù)據(jù)使用安全的同時(shí)，提高了數(shù)據(jù)使用效率并降低了數(shù)據(jù)存儲(chǔ)成本。ADM由生產(chǎn)數(shù)據(jù)管理、備份數(shù)據(jù)管理、測(cè)試數(shù)據(jù)管理以及敏感數(shù)據(jù)管理四大功能組成，實(shí)現(xiàn)了數(shù)據(jù)推送管理、數(shù)據(jù)分組管理和數(shù)據(jù)審計(jì)管理等輔助功能，通過(guò)自動(dòng)化的方式達(dá)到了數(shù)據(jù)使用的成本控制、靈活管理與高效應(yīng)用的目標(biāo)。
生產(chǎn)數(shù)據(jù)管理繼承傳統(tǒng)數(shù)據(jù)庫(kù)實(shí)時(shí)持續(xù)備份的技術(shù)，實(shí)現(xiàn)本機(jī)、異機(jī)快速恢復(fù)，突破首次全量，后續(xù)持續(xù)增量合成的備份方式，達(dá)到分鐘級(jí)的恢復(fù)時(shí)間、秒級(jí)的恢復(fù)粒度，實(shí)現(xiàn)數(shù)據(jù)庫(kù)的應(yīng)用級(jí)保護(hù)與備份數(shù)據(jù)有效性的自動(dòng)校驗(yàn)，對(duì)于上游生產(chǎn)數(shù)據(jù)的獲取提供了快捷的方式。
備份數(shù)據(jù)管理是一種通過(guò)對(duì)接企業(yè)用戶現(xiàn)有備份系統(tǒng)如NBU/CommVault等，獲取已有備份數(shù)據(jù)進(jìn)行快速恢復(fù)、利用恢復(fù)數(shù)據(jù)交付下游非生產(chǎn)數(shù)據(jù)的功能。該功能主要是通過(guò)集中管理存儲(chǔ)資源、恢復(fù)服務(wù)器資源和恢復(fù)任務(wù)，保證存儲(chǔ)空間、恢復(fù)服務(wù)器和恢復(fù)任務(wù)的自動(dòng)調(diào)度，從而實(shí)現(xiàn)備份數(shù)據(jù)有效性驗(yàn)證的全自動(dòng)化，并且根據(jù)驗(yàn)證結(jié)果生成詳細(xì)的恢復(fù)驗(yàn)證報(bào)告。ADM自動(dòng)恢復(fù)備份數(shù)據(jù)可充分盤活備份數(shù)據(jù)，實(shí)現(xiàn)對(duì)備份數(shù)據(jù)的二次利用，降低生產(chǎn)數(shù)據(jù)獲取對(duì)核心業(yè)務(wù)造成的影響，同時(shí)內(nèi)置數(shù)據(jù)壓縮存儲(chǔ)池壓縮比高達(dá)4:1，大大節(jié)約了獲取數(shù)據(jù)存儲(chǔ)的后續(xù)成本。
敏感數(shù)據(jù)管理是該產(chǎn)品在中游進(jìn)行數(shù)據(jù)處理的關(guān)鍵功能，提供敏感數(shù)據(jù)的自動(dòng)識(shí)別與仿真脫敏，針對(duì)敏感數(shù)據(jù)識(shí)別提供通用數(shù)據(jù)特征庫(kù)、全庫(kù)與子集自動(dòng)掃描，數(shù)據(jù)內(nèi)容、字段類型、約束關(guān)系均可以實(shí)現(xiàn)自動(dòng)識(shí)別，并依據(jù)類型特征加以分類分級(jí)；內(nèi)置豐富脫敏算法對(duì)敏感數(shù)據(jù)進(jìn)行隨機(jī)化、模糊化、高仿真度替換，保證脫敏后數(shù)據(jù)的完整性、仿真性以及數(shù)據(jù)間邏輯性。
測(cè)試數(shù)據(jù)管理是該產(chǎn)品針對(duì)數(shù)據(jù)使用流轉(zhuǎn)和交付環(huán)節(jié)的核心功能，上訊通過(guò)自研的專利技術(shù)——數(shù)據(jù)庫(kù)虛擬化，體現(xiàn)了副本數(shù)據(jù)管理（CDM）的技術(shù)先進(jìn)性，將生產(chǎn)數(shù)據(jù)管理與備份數(shù)據(jù)管理以及數(shù)據(jù)按需上傳等多途徑獲取的原始黃金數(shù)據(jù)庫(kù)副本，經(jīng)過(guò)虛擬化技術(shù)的轉(zhuǎn)換，創(chuàng)建成多份虛擬數(shù)據(jù)庫(kù)。虛擬數(shù)據(jù)庫(kù)的特點(diǎn)在于對(duì)來(lái)源于原始黃金副本90%的相同數(shù)據(jù)不占用存儲(chǔ)空間，僅對(duì)新增寫操作計(jì)入存儲(chǔ)占用，即對(duì)存儲(chǔ)資源的虛擬占用；而對(duì)多個(gè)同時(shí)在線的虛擬數(shù)據(jù)庫(kù)操作獨(dú)立，互不干擾；同時(shí)虛擬數(shù)據(jù)庫(kù)創(chuàng)建速度非?？?，TB量級(jí)的數(shù)據(jù)庫(kù)幾分鐘完成交付。借助ADM集中的數(shù)據(jù)使用流程，通過(guò)跟蹤數(shù)據(jù)流向，識(shí)別虛擬數(shù)據(jù)庫(kù)使用狀態(tài)，實(shí)時(shí)拍攝快照，實(shí)現(xiàn)數(shù)據(jù)版本的保留，進(jìn)而快速回退或切換版本，以此實(shí)現(xiàn)對(duì)測(cè)試數(shù)據(jù)版本的靈活管理。
通過(guò)ADM產(chǎn)品的部署應(yīng)用解決了企業(yè)在IT建設(shè)方面對(duì)數(shù)據(jù)上中下游的集中管控問(wèn)題，上游既可以防護(hù)數(shù)據(jù)丟失和保障業(yè)務(wù)持續(xù)，也可以為下游提供原始數(shù)據(jù)，通過(guò)ADM一體化平臺(tái)減少了操作復(fù)雜性和步驟繁瑣度；備份數(shù)據(jù)管理提供了一種對(duì)現(xiàn)有備份數(shù)據(jù)的二次利用的手段，徹底盤活了這部分“暗數(shù)據(jù)”，通過(guò)自動(dòng)化流程擺脫了大量人力、設(shè)備以及存儲(chǔ)資源的投入，一次恢復(fù)任務(wù)成功后可建立周期性恢復(fù)任務(wù)，簡(jiǎn)化了工作難度。
敏感數(shù)據(jù)管理提供對(duì)隱私數(shù)據(jù)的自動(dòng)識(shí)別和仿真脫敏，避免了人為發(fā)現(xiàn)不徹底的現(xiàn)象，豐富了脫敏算法，使脫敏后的“假數(shù)據(jù)”更能滿足真實(shí)的場(chǎng)景驗(yàn)證需求。測(cè)試數(shù)據(jù)管理規(guī)范了《網(wǎng)絡(luò)安全法》頒布實(shí)施以來(lái)的數(shù)據(jù)申請(qǐng)流程，既保證了數(shù)據(jù)申請(qǐng)到使用的流程安全也加快了程序升級(jí)的業(yè)務(wù)周期，使數(shù)據(jù)孤島變?yōu)橛雄E可循的數(shù)據(jù)分支，通過(guò)可視化資源拓?fù)鋱D對(duì)數(shù)據(jù)使用流轉(zhuǎn)情況一目了然，同時(shí)創(chuàng)新的數(shù)據(jù)壓縮存儲(chǔ)池大大減少了對(duì)數(shù)據(jù)使用過(guò)程中存儲(chǔ)的占用，顯著降低了數(shù)據(jù)存儲(chǔ)成本。ADM集中管理數(shù)據(jù)的采集、傳輸、存儲(chǔ)、使用、流轉(zhuǎn)的方式，解決了企業(yè)數(shù)據(jù)使用全流程安全管控的實(shí)際需求。
產(chǎn)品部署拓?fù)鋱D：
企業(yè)用戶通過(guò)部署應(yīng)用ADM產(chǎn)品能夠?qū)崿F(xiàn)以下的收益：
（1）滿足產(chǎn)品的國(guó)產(chǎn)化，保證技術(shù)自主可控
ADM產(chǎn)品完全自主研發(fā)，全面掌握數(shù)據(jù)的獲取、存儲(chǔ)、數(shù)據(jù)庫(kù)虛擬化、脫敏技術(shù)，確保針對(duì)上中下游數(shù)據(jù)的應(yīng)用系統(tǒng)完全自主可控，減少依賴外部技術(shù)帶來(lái)的潛在風(fēng)險(xiǎn)。
（2）實(shí)現(xiàn)資源綠色節(jié)能，降低存儲(chǔ)成本
持續(xù)優(yōu)化的數(shù)據(jù)庫(kù)虛擬化技術(shù)解決了數(shù)據(jù)使用過(guò)程速度和頻率問(wèn)題，避免了底層過(guò)度占用存儲(chǔ)資源的現(xiàn)象，緩解了存儲(chǔ)容量的壓力。
（3）數(shù)據(jù)監(jiān)控跟蹤，提升數(shù)據(jù)流轉(zhuǎn)效率
數(shù)據(jù)庫(kù)使用過(guò)程中可監(jiān)控、可追溯，根據(jù)相應(yīng)管理制度釋放占用的服務(wù)器與內(nèi)存資源，實(shí)現(xiàn)集中統(tǒng)一的管理。
（4）數(shù)據(jù)使用流轉(zhuǎn)可視化監(jiān)控
將數(shù)據(jù)脫敏和數(shù)據(jù)流轉(zhuǎn)無(wú)縫結(jié)合，數(shù)據(jù)流轉(zhuǎn)以樹(shù)狀拓?fù)鋱D動(dòng)態(tài)展示，監(jiān)控?cái)?shù)據(jù)分支情況。
用戶反饋
中國(guó)鐵塔在云上管理的應(yīng)用系統(tǒng)達(dá)到130多套，虛機(jī)5千多臺(tái)，整體存儲(chǔ)容量7PB，數(shù)據(jù)規(guī)模超過(guò)700TB，存在冗余數(shù)據(jù)副本管理困難、測(cè)試數(shù)據(jù)交付慢等問(wèn)題。在引入上訊的ADM產(chǎn)品之后，鐵塔的測(cè)試數(shù)據(jù)交付以自動(dòng)化、智能化的方式替代了落后的人工拷貝數(shù)據(jù)方式，測(cè)試數(shù)據(jù)交付效率提高了15倍，存儲(chǔ)空間占用降低了約一半。其具體應(yīng)用于中國(guó)鐵塔的兩個(gè)工作場(chǎng)景中：一個(gè)是測(cè)試數(shù)據(jù)的極速交付，一個(gè)是備份數(shù)據(jù)自動(dòng)化恢復(fù)與有效性驗(yàn)證。不但提高了鐵塔的業(yè)務(wù)開(kāi)發(fā)和測(cè)試效率，還讓IT部門有更多的時(shí)間和精力用在創(chuàng)新方面，加速助力我公司的IT部門由原來(lái)單純的支撐部門真正變成企業(yè)業(yè)務(wù)發(fā)展的核心部門。
——中國(guó)鐵塔
ADM解決方案大幅提高了中信銀行在開(kāi)發(fā)測(cè)試環(huán)境中的工作效率，使數(shù)據(jù)環(huán)境準(zhǔn)備時(shí)間縮短到原來(lái)的20%以下。
而且ADM產(chǎn)品解決了中信銀行在實(shí)際應(yīng)用場(chǎng)景下，在數(shù)據(jù)管理效率、安全性和經(jīng)濟(jì)性等方面的一系列問(wèn)題，ADM解決方案的新技術(shù)與傳統(tǒng)銀行業(yè)務(wù)的融合迸發(fā)出創(chuàng)新力，加速推進(jìn)了中信銀行的產(chǎn)業(yè)化數(shù)字轉(zhuǎn)型，提升了中信銀行在新業(yè)態(tài)背景下金融領(lǐng)域的核心競(jìng)爭(zhēng)力。
——中信銀行
東海證券通過(guò)對(duì)信息部門業(yè)務(wù)網(wǎng)絡(luò)中存在風(fēng)險(xiǎn)的現(xiàn)狀進(jìn)行梳理，發(fā)現(xiàn)數(shù)據(jù)使用流程缺乏統(tǒng)一的管理入口，下游測(cè)試數(shù)據(jù)交付速度慢，非生產(chǎn)環(huán)境中存在大量的數(shù)據(jù)孤島，極易受到安全威脅。在采用了敏捷數(shù)據(jù)管理平臺(tái)ADM產(chǎn)品后，大大提升了東海證券的網(wǎng)絡(luò)安全攻防能力，保證了敏感數(shù)據(jù)的測(cè)試準(zhǔn)確性和檢測(cè)效率，同時(shí)，靈活的全流程管控方式保證了我們自身數(shù)據(jù)資產(chǎn)的完整性和可恢復(fù)性。
——東海證券
