IT是一個風(fēng)口快速變換的產(chǎn)業(yè)，如何在快速變換中提前捕捉風(fēng)向是眾多IT企業(yè)的訴求，而這些風(fēng)向變換的“蛛絲馬跡”，就隱藏在用戶的需求變化中。
亞馬遜的創(chuàng)始人貝索斯曾在一個內(nèi)部的高層會議上,對一群高管大發(fā)雷霆:“你們要么共享數(shù)據(jù),要么離開公司!”公司內(nèi)部不同的業(yè)務(wù)部門把持著各自的數(shù)據(jù),不愿共享,怕共享數(shù)據(jù)降低本部門權(quán)威的事,當然不僅是發(fā)生在亞馬遜。
怎么能夠讓跨部門、跨系統(tǒng)的數(shù)據(jù)更好地共享，使企業(yè)內(nèi)部的數(shù)據(jù)分析專家想什么時候獲得就可以獲得，讓高質(zhì)量的數(shù)據(jù)不僅可以自動化、隨時隨地推送給有需求的人，同時在數(shù)據(jù)權(quán)限和隱私等各個方面做到合規(guī)，這是數(shù)字經(jīng)濟時代企業(yè)進行數(shù)字化轉(zhuǎn)型的基石和夢想。
怎么實現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”的夢想，“Data Fabric”悄然登場。
Data Fabric悄然登場
2018年“Data Fabric”首次出現(xiàn)在Gartner的十大數(shù)據(jù)與分析技術(shù)趨勢中，其后的每一年，它都會如期出現(xiàn)在《Gartner十大數(shù)據(jù)與分析的趨勢》上，2019年其位列趨勢六，2020年其位列趨勢三，其排位正不斷前移動。
Data Fabric的中文名字到底怎么翻譯，IBM公司與Gartner有了分歧。IBM大中華區(qū)科技事業(yè)部云計算與認知軟件部數(shù)據(jù)與人工智能信息架構(gòu)產(chǎn)品總監(jiān)王積杰將其稱為“數(shù)據(jù)經(jīng)緯”，而Gartner高級研究總監(jiān)孫鑫認為“數(shù)據(jù)編織”更為合適，因為他認為數(shù)據(jù)編織更凸顯“動態(tài)”。
在Data Fabric出來之前，數(shù)據(jù)結(jié)構(gòu)的設(shè)計都主要部署成靜態(tài)基礎(chǔ)設(shè)施，而在未來將需要采用更動態(tài)的數(shù)據(jù)網(wǎng)格方法全面重新設(shè)計。
孫鑫在接受記者采訪時表示，Data Fabric不是一個產(chǎn)品而是一種設(shè)計理念，是利用AI、機器學(xué)習(xí)和數(shù)據(jù)科學(xué)的功能，訪問數(shù)據(jù)或支持數(shù)據(jù)動態(tài)整合，以發(fā)現(xiàn)可用數(shù)據(jù)之間獨特的、與業(yè)務(wù)相關(guān)的關(guān)系。
而IBM對Data Fabric的看法，與Gartner專家提到的“動態(tài)”、“數(shù)據(jù)網(wǎng)格”和AI賦能并無沖突，IBM解釋道“數(shù)據(jù)經(jīng)緯”的譯法是由IBM中國研發(fā)中心首席技術(shù)官趙軍偉提出，趙軍偉解釋說，“經(jīng)緯作為名詞，本意為織物的直線與橫線，引申為連接萬物的規(guī)律，《左傳．昭公二十五年》中寫道：‘禮，上下之紀，天地之經(jīng)緯也。’作為地理概念，經(jīng)緯度可以定位地球上任何一個位置，而‘數(shù)據(jù)經(jīng)緯’則可以在紛繁復(fù)雜的企業(yè)數(shù)據(jù)目錄里定位任意一個數(shù)據(jù)源。經(jīng)緯用作動詞，是規(guī)劃治理的意思，《周書.靜帝紀》中提到的‘經(jīng)天緯地’就是治理天下的意思。
“我們可以把Data Fabric想象成一張?zhí)摂M的網(wǎng),這張網(wǎng)并不能理解為一種點對點的連接,而是一種虛擬的連接,每個節(jié)點都可以是不同的數(shù)據(jù)系統(tǒng)，不同系統(tǒng)上的數(shù)據(jù)在網(wǎng)上都可以迅速地被定位和找到。Data Fabric的主要功能是把正確的數(shù)據(jù),在正確的時間,給到正確的人。通過Data Fabric,對的人可以從對的地點,在對的時間,獲取對的數(shù)據(jù)。”王積杰對記者說。
孫鑫認為，現(xiàn)在的數(shù)據(jù)連接的架構(gòu)設(shè)計還主要是“人找數(shù)據(jù)”，而Data Fabric設(shè)計核心是“數(shù)據(jù)找人”，在合適的時間、將合適的數(shù)據(jù)、推送給需要的人。
為什么Data Fabric將會成為一種趨勢，為什么越來越多的企業(yè)將在未來采用這樣的方式進行部署？王積杰談及了數(shù)據(jù)利用結(jié)構(gòu)模式的變化，傳統(tǒng)IT時代，無論是早年的”數(shù)據(jù)倉庫“還是近幾年的“數(shù)據(jù)湖”和“大數(shù)據(jù)”時代，其實數(shù)據(jù)利用都是集中式的架構(gòu)，把數(shù)據(jù)收集到一起，讓企業(yè)的數(shù)據(jù)分析師、BI分析師對數(shù)據(jù)進行分析。但在云計算時代，用戶業(yè)務(wù)部署在多云的環(huán)境下，要想將分布在不同云上的數(shù)據(jù)集中在一起成本很高，也很費勁，于是采用去中心化、分布式的數(shù)據(jù)網(wǎng)絡(luò)架構(gòu)就成為了必然選擇。
“《通用數(shù)據(jù)保護條例》（GDPR）、《數(shù)據(jù)安全法》等越來越嚴的數(shù)據(jù)安全與數(shù)據(jù)監(jiān)管措施的出臺，想要先集中數(shù)據(jù)再進行數(shù)據(jù)分析的模式，已經(jīng)行不通了。”孫鑫說。
Data Fabric可以同時給業(yè)務(wù)和技術(shù)團隊帶來明確的價值，王積杰表示，從業(yè)務(wù)層面來看,由于企業(yè)能更容易地獲得高質(zhì)量的數(shù)據(jù),從而能更快和更精確地獲得企業(yè)數(shù)據(jù)洞察。從技術(shù)層面來說,由于較少的數(shù)據(jù)復(fù)制的次數(shù)和數(shù)量,從而減少了數(shù)據(jù)集成的工作,方便維護數(shù)據(jù)質(zhì)量和標準,也減少了硬件架構(gòu)和存儲的開銷。由于減少了數(shù)據(jù)復(fù)制和大大優(yōu)化了數(shù)據(jù)流程,加快并簡化了數(shù)據(jù)處理過程,從而通過實施自動化的整體數(shù)據(jù)策略,減少了數(shù)據(jù)訪問管理的工作。
Gartner認為，隨著數(shù)據(jù)的日益復(fù)雜以及數(shù)字化業(yè)務(wù)的加速發(fā)展，Data Fabric已成為支持組裝式數(shù)據(jù)分析及其各種組件的基礎(chǔ)架構(gòu)。由于在技術(shù)設(shè)計上能夠使用/重復(fù)使用及組合不同的數(shù)據(jù)集成方式，Data Fabric可縮短30%的集成設(shè)計時間、30%的部署時間和70%的維護時間。IBM 7月發(fā)布的Cloud Pak for Data 4.0的軟件組合增加了智能化的Data Fabric的功能，其中AutoSQL（結(jié)構(gòu)化查詢語言），可以通過AI來自動訪問、整合和管理數(shù)據(jù)，可以幫助客戶以8倍的速度、不到一半的成本，獲得分布式查詢的答案。
如何實現(xiàn)Data Fabric
究竟如何實現(xiàn)“數(shù)據(jù)找人而不是人找數(shù)據(jù)”，Data Fabric究竟如何“編織”？
王積杰認為Data Fabric至少需要四個維度的能力，一是能夠在數(shù)據(jù)之間建立虛擬鏈接,簡化數(shù)據(jù)訪問的模式,從而減少數(shù)據(jù)復(fù)制的數(shù)量。二是需要建立一個企業(yè)的數(shù)據(jù)目錄,并需要利用AI技術(shù),自動化地實現(xiàn)基于語義和知識的分析,理解數(shù)據(jù)及其業(yè)務(wù)含義,并建立知識圖譜,從而使數(shù)據(jù)目錄變得智能化和自動化。能夠讓需要數(shù)據(jù)的用戶,隨時了解他所需要的數(shù)據(jù)在哪里、數(shù)據(jù)質(zhì)量如何等。三是建立自動化的數(shù)據(jù)平臺,允許用戶通過自服務(wù)的方式,訪問并獲取數(shù)據(jù)。四是通過提供整體的自動化策略,確保數(shù)據(jù)安全,增加數(shù)據(jù)的隱私和權(quán)限保護,并提高數(shù)據(jù)的質(zhì)量。
孫鑫特別強調(diào)，數(shù)據(jù)編織是一種新的設(shè)計理念，它是數(shù)據(jù)管理、數(shù)據(jù)收集理念的變化，與數(shù)據(jù)倉庫、數(shù)據(jù)湖等技術(shù)并不是替代的關(guān)系，既可以運用現(xiàn)有的數(shù)據(jù)中樞、數(shù)據(jù)湖和數(shù)據(jù)倉庫的技術(shù)和技能，也可以在未來加入新的方法和工具。
孫鑫談到了實現(xiàn)Data Fabric的一些關(guān)鍵技術(shù)，比如增強型數(shù)據(jù)目錄，要想實現(xiàn)數(shù)據(jù)找人，而不是人找數(shù)據(jù)，需要增強的數(shù)據(jù)目錄，它要涵蓋用戶使用數(shù)據(jù)的頻度與機制，了解數(shù)據(jù)與業(yè)務(wù)的關(guān)系，還包括知識圖譜，通過知識圖譜找到數(shù)據(jù)與業(yè)務(wù)之間的關(guān)系，找到元數(shù)據(jù)利用的整合策略，也包括推薦引擎以及在數(shù)據(jù)準備階段的低代碼等工具，低代碼工具的作用在于降低數(shù)據(jù)使用的門檻，加速數(shù)據(jù)產(chǎn)品化。
從Data Fabric推動的難點來看，“一是理念層面的難題，中國的用戶還沒有意識到，數(shù)據(jù)利用和使用的方式已經(jīng)發(fā)生改變，傳統(tǒng)的集中收集再利用的方式已經(jīng)不能滿足需要。二是目前很多企業(yè)對于元數(shù)據(jù)不夠重視。三從人的角度看，需要提升企業(yè)的數(shù)據(jù)工程師對知識圖譜、圖語言、圖建模等數(shù)據(jù)工具的能力培養(yǎng)。四，數(shù)據(jù)編織的實現(xiàn)并不是找到一個廠商就能夠完成，它是一個旅程需要分幾步走。”孫鑫認為，從用戶的角度看，率先采用Data Fabric的是金融電信行業(yè)以及數(shù)據(jù)應(yīng)用場景比較復(fù)雜的用戶。
在這一點上，王積杰表達了與孫鑫一致的觀點，這是一個方向，但并不能一蹴而就，用戶需要分步實施，關(guān)鍵是要意識到趨勢，在接下來的項目實施中，按照Data Fabric的理念來構(gòu)建。
面對新風(fēng)口，國內(nèi)廠商為何還不動
盡管Gartner、Forrester等分析機構(gòu)在幾年前就提出Data Fabric是數(shù)據(jù)利用與分析領(lǐng)域的革命性變革，是未來方向，但記者聯(lián)系國內(nèi)大數(shù)據(jù)相關(guān)領(lǐng)域企業(yè)進行采訪，對此了解或進行布局的企業(yè)并不多，甚至找不到。
孫鑫認為，這與國內(nèi)大數(shù)據(jù)廠商的分布有關(guān)，“國內(nèi)有很多做數(shù)據(jù)庫的企業(yè)，也有很多做BI（商業(yè)智能）的企業(yè)，但做數(shù)據(jù)整合的企業(yè)很少，而事實上，在國外做數(shù)據(jù)編織的往往是數(shù)據(jù)整合、數(shù)據(jù)虛擬化的廠商，這就很好理解為什么國內(nèi)的大數(shù)據(jù)廠商遲遲未入場Data Fabric，因為這類型的企業(yè)就不多。”
從公開信息看，目前IBM、informatica和Telend等推出了針對Data Fabric的解決方案，王積杰透露IBM的Cloud Pak for Data針對上述Data Fabric必須具備的四個基本能力,都能給予很好的支持，而且在IBM內(nèi)部是以前所未有的力度在推動。但除了IBM之外，那些傳統(tǒng)關(guān)系型數(shù)據(jù)庫、云數(shù)據(jù)庫的大公司們目前并沒有積極入場。
孫鑫認為，大廠商們沒有入場很好理解，因為在Data Fabric的理念下，往往需要采用點和邊新方式去描述數(shù)據(jù)關(guān)系，這需要知識圖譜、圖數(shù)據(jù)庫等，這往往是新銳公司在做的領(lǐng)域，而大廠商們往往有自己的數(shù)據(jù)整合工具，他們都希望在自己的平臺上進行整合。但是未來這樣的局面一定會在接下來的幾年發(fā)生變化。
“Data Fabric這個概念在國際上已經(jīng)熱起來了,但目前國內(nèi)的IT用戶知道的人還不多。10年前大數(shù)據(jù)的概念在國外興起后,不到三年就被中國用戶廣泛接受，未來這個Data Fabric概念,中國將需要多久接受并加以應(yīng)用呢?等待時間給出答案。“王積杰說。
