新數(shù)據(jù)時代:誰能占據(jù)新的C位

懂懂筆記
存儲作為新數(shù)據(jù)的載體,也變得更加重要。新數(shù)據(jù)時代對新存儲提出了新的要求,比如閃存陣列成為關鍵業(yè)務首選,分布式平臺是新趨勢,多云環(huán)境下提升存儲可用性,存儲同樣進入了智慧運維時代。

據(jù)說蘋果的iCloud在中國布置了1000個PB,已經(jīng)可以滿足所有國內蘋果用戶的云存儲需求。而在普通人看來,1000個PB應該是一個難以想象的數(shù)據(jù)存儲量。但是,這些來自于消費者(C端)產(chǎn)生的數(shù)據(jù),在企業(yè)級(B端)數(shù)據(jù)面前,則是小巫見大巫了。

目前華中科技大學進行的腦科學研究,第一期數(shù)據(jù)量規(guī)劃就是25個PB,未來要擴大到100PB;一輛達到L4級別的自動駕駛車輛,一天產(chǎn)生的數(shù)據(jù)就是0.5個PB,如果有1萬輛這種L4級別的汽車上路,一天就會有超過5000PB的數(shù)據(jù)量產(chǎn)生;而智慧城市場景中的1000路視頻設備,平均15天就會產(chǎn)生近1個PB的數(shù)據(jù)。按照一個城市需要幾萬個到幾十萬個視頻設備來計算,隨便一個智慧城市的數(shù)據(jù)存儲就超過蘋果這些手機巨頭了……

這些只是今天我們能看到的數(shù)據(jù)量,“數(shù)據(jù)采集器的精度,每幾年就會提高一個數(shù)量級。所以每過兩三年時間,整個數(shù)據(jù)就會上一個數(shù)量級。”浪潮存儲產(chǎn)品線總經(jīng)理李輝表示。

不僅如此,5G網(wǎng)絡高速率、廣連接的特點,促使IoT以更快的速度爆發(fā),未來會有更多的終端、采集器聯(lián)入網(wǎng)絡。IDC數(shù)據(jù)顯示,2025年全球新創(chuàng)建的數(shù)據(jù)將達到175ZB,如果把這些數(shù)據(jù)全部存在DVD中,那么DVD的高度會是地球至月球距離的23倍,或者環(huán)繞地球整整222圈。

從PB到ZB,傳統(tǒng)數(shù)據(jù)存儲方法顯然已經(jīng)無法應對數(shù)據(jù)量的裂變——2019年,新數(shù)據(jù)時代元年已經(jīng)到來。

需求倒逼存儲迭代,新數(shù)據(jù)時代降臨

在清華大學的一個實驗室里,28臺3500萬像素的高速相機正對著一只實驗臺上的小鼠,這是一個極具挑戰(zhàn)的實驗。

當給小鼠注入螢光劑后,血液開始循環(huán),實驗隨即開始。此時,28個鏡頭組成一個矩陣,以每秒鐘30幀記錄著小鼠血液流動的軌跡,每一幀的記錄都要形成一張大圖,追蹤每一幀里藥物的流動曲線,這樣的連續(xù)拍攝必須72小時不能間斷。

實驗最大的挑戰(zhàn),要求數(shù)據(jù)必須實時在線,絕對不能有任何一點點的阻塞,更不能有宕機。

一只實驗用小鼠的價格不菲,而且通常這樣一個實驗項目要準備很長時間。所以說,這是一個不容有絲毫閃失的項目。這項實驗對數(shù)據(jù)存儲提出了三大挑戰(zhàn):第一是精細化,每一張照片的顆粒度都非常高;第二是數(shù)據(jù)的實時性、準確性;第三是數(shù)據(jù)的可靠性,絕不能丟失其中任何一幀。在精密甄選后,浪潮分布式存儲AS13000扛住了這項挑戰(zhàn)。

在清華大學實驗室里的這項應用,是新數(shù)據(jù)時代最典型的應用項目。類似的數(shù)據(jù)挑戰(zhàn),在未來將成為常態(tài)。

?我們無論是步行還是開車,都會在城市的角落發(fā)現(xiàn)越來越多的道路視頻設備。智慧城市對于道路視頻設備的分辨率提出了更高要求,這也意味著數(shù)據(jù)量將呈幾何倍數(shù)增長。

在成都市的三環(huán)路,為了高效管理這條主干道的交通狀況,路面各處一共安裝了6000多個道路視頻設備,帶來的存儲需求高達數(shù)百個PB。存儲系統(tǒng)需要支撐三環(huán)路共計6000路+的高清視頻設備,以及每天1億張300~800KB視頻卡口數(shù)據(jù)的存儲量。而浪潮AS13000面向海量非結構化和結構化數(shù)據(jù)混合存儲又一次勝出,通過橫向擴展,這臺系統(tǒng)提供了EB級別存儲空間。

如此龐大的數(shù)據(jù)不僅要存儲好,更要管理好。浪潮為分布式存儲平臺AS13000開發(fā)了智能運維功能,面對智慧交通海量硬盤管理需求,提供了統(tǒng)一資源存儲管理平臺,其兩周時間預測準確率已經(jīng)達到85%以上。

這些助力,為成都交管部門帶來了智能化運維體驗——從以前被動地硬盤發(fā)生故障再進行搶救,變成了主動提前預測,提供足夠時間窗口對壞盤進行數(shù)據(jù)重構,進而讓20PB的存儲“巨無霸”實現(xiàn)了自動化、智能化運維。

在完成存儲、管理的基礎上,運營管理者最迫切需要的是從這些數(shù)據(jù)中挖掘價值。

以智慧交通應用為例:從數(shù)據(jù)收集到數(shù)據(jù)挖掘分析的演變過程中,對存儲資源帶來最直接的改變就是讀寫比例發(fā)生巨大變化,從原來的重寫入輕讀取,變?yōu)樽x寫比例5:5,并且對讀取的即時性提出很高要求。對此,浪潮分布式存儲AS13000提供了三大創(chuàng)新:一是單目錄可以有效支持千萬級的文件,整體支持十億級的文件數(shù)量,;二是擁有元數(shù)據(jù)服務集群技術,滿足了海量小文件的快速檢索需求;三是基于分級存儲,使用SSD建立一級存儲,熱數(shù)據(jù)的IO速率提升了10倍。

可以說,也只有這樣的極速性能,才能滿足智慧交通每天上億圖片的違章識別AI新應用的爆發(fā)式需求。

浪潮分布式存儲平臺在成都三環(huán)路的指揮交通項目中起到了關鍵作用,目前車輛管控效率提升了500%,違章行為糾察中減少了80%的人力,三環(huán)路智能交通管控系統(tǒng)延時降低了3倍,交通流量效率提升了15%。這些改變有效疏導了交通狀況,緩解了城市交通壓力。

從小鼠到成都三環(huán)路的眾多案例中,我們可以看到數(shù)據(jù)的“存——管——用”三大核心步驟都對存儲設備提出了新的要求。這樣的需求正在越來越多的應用場景中呈爆發(fā)式增長。

根據(jù)IDC全球數(shù)據(jù)圈報告顯示,目前能夠存儲下來的數(shù)據(jù)只有1%左右,其中真正挖掘出價值的數(shù)據(jù)量不足存儲數(shù)據(jù)的10%。這也就意味著還有巨大的市場空間需要填補。傳統(tǒng)的存儲解決方案,已經(jīng)無法適應今天數(shù)據(jù)快速的增長,以及數(shù)據(jù)價值挖掘的巨大需求。

顯然,需求倒逼著存儲市場的迭代,新數(shù)據(jù)時代已經(jīng)來臨。

每一個人都被數(shù)據(jù)包圍,數(shù)據(jù)淘金時代開啟

新技術、新應用驅動了新數(shù)據(jù)時代的到來,這并非偶然。

在IDC與浪潮聯(lián)合發(fā)布的《2019年數(shù)據(jù)及存儲發(fā)展研究報告》(以下簡稱《報告》)中可以發(fā)現(xiàn),2019年企業(yè)數(shù)字化轉型IT支出首次超過非數(shù)字化IT支出。IDC稱之為企業(yè)數(shù)字化轉型拐點——開啟新數(shù)據(jù)時代元年。

“51%是一個突破,標志著IT領域進入了一個數(shù)字化為主的一個時代。”IDC企業(yè)研究部助理副總裁周震剛告訴懂懂筆記,這個數(shù)字在全球的平均值為37%,而中國、美國因為互聯(lián)網(wǎng)化的應用發(fā)展迅猛,明顯高于全球平均水平,已經(jīng)提前進入新數(shù)據(jù)時代。

?浪潮李輝對“新數(shù)據(jù)時代”也有自己的理解。他認為傳統(tǒng)的IT解決了連接,以及簡單記錄數(shù)據(jù)的需求。而現(xiàn)在的IT核心都是圍繞數(shù)據(jù)去做更多智能化的應用。

例如,手機、家電、智能工廠、自動駕駛汽車……都安裝了大量的傳感器來采集數(shù)據(jù)。采集這些數(shù)據(jù)之后需要存儲、清洗,數(shù)據(jù)處理需要的IT支出,以及后續(xù)圍繞這些數(shù)據(jù)展開的經(jīng)營活動、管理活動,所有投資都是數(shù)字化轉型的IT支出。

凝練為一句話就是:“這些投資都是為了數(shù)字化轉型,為了在數(shù)據(jù)里淘金。”李輝強調,新數(shù)據(jù)時代也是數(shù)據(jù)淘金時代的開始。

“這個轉折點的意義在于,每一個人都會感受到數(shù)字化對他們生活的影響,無論是購物、出行、吃飯、工作……”李輝解釋道。今天的用戶會有一個明顯的感覺:無論在哪個場景里都會發(fā)現(xiàn)數(shù)字化的東西:一位70歲的老奶奶去醫(yī)院看病,現(xiàn)在也要拿著一張卡片在自助機前掛號、繳費、打印化驗結果;一位山村小鎮(zhèn)的年輕人可以整天抱著手機打游戲、看快手、購物;一個小學生無論是學校的作業(yè),還是課外輔導課,也都離不開PC和Pad……

在數(shù)據(jù)里淘金,首先依賴于數(shù)據(jù)。每一個人、每一件物或者每一件事情都會被數(shù)據(jù)記錄,然后再被數(shù)據(jù)所影響。未來的企業(yè)將更加重視如何挖掘數(shù)據(jù)價值,并以此提供優(yōu)質的產(chǎn)品和服務,以數(shù)據(jù)作為最重要的資源的新數(shù)據(jù)時代已經(jīng)來臨。

在《報告》中,可以看到很多新數(shù)據(jù)時代的變化趨勢,總結一下可以歸納出四大特征:新數(shù)據(jù)形態(tài)(海量、多元和非結構化成數(shù)據(jù)常態(tài))、新部署環(huán)境(基礎架構向云-邊-端演進,多云、數(shù)據(jù)管理成為企業(yè)關注重點)、新應用模式(應用場景逐漸細分,個性化存儲解決方案需求上升)以及新價值需求(創(chuàng)新存儲技術和架構將助力數(shù)據(jù)價值釋放)。

那么,存儲作為新數(shù)據(jù)的載體,也變得更加重要。新數(shù)據(jù)時代對新存儲提出了新的要求,比如閃存陣列成為關鍵業(yè)務首選,分布式平臺是新趨勢,多云環(huán)境下提升存儲可用性,存儲同樣進入了智慧運維時代。

穿越技術周期,新數(shù)據(jù)時代的中國力量

?“在過去傳統(tǒng)的存儲架構上,國外廠商的優(yōu)勢還是比較明顯的。但是今天,國內廠商與他們已經(jīng)站在同一個起跑線上。因為整個應用模式跟過去完全不一樣,大家都是從頭開始。”IDC周震剛認為,浪潮等中國IT企業(yè)在新數(shù)據(jù)時代已經(jīng)跑在全球前列。“其實相對新數(shù)據(jù)時代,中國因為互聯(lián)網(wǎng)行業(yè)發(fā)展迅猛,同時浪潮這樣的科技企業(yè)與互聯(lián)網(wǎng)公司合作也非常緊密,因此在這方面的積累反而跑在了別人前面。我覺得未來中國企業(yè)還是會有很多相對來說更好的機會。”

浪潮大約在2000年開始投入企業(yè)存儲的相關研發(fā),彼時國外企業(yè)已經(jīng)擁有相當成熟的技術。“那時候我們沒有太多核心技術,存儲又是技術門檻比較高的領域。但我們清楚,這是一個長期戰(zhàn)略,我們必須堅定不移地去投資,去掌握存儲領域里面的全套技術。”李輝說道。

這個“長期”真的非常不容易。首先浪潮、華為這樣的中國企業(yè)幾乎是零基礎開始,沒技術沒客戶,必須要忍耐很長時間沒有任何回報的投資過程。而前面的巨頭有技術、有資金、有客戶,技術也在不斷更新,一直處于領跑的位置,追趕絕非一蹴而就。

同時,IT技術變化非常快,這導致存儲技術也在不斷迭代,“我們這個長期投入的戰(zhàn)略穿越了很多個技術周期。”顯然,這對浪潮的研發(fā)也是巨大的挑戰(zhàn)。

多年來,浪潮積累了一流的存儲研發(fā)團隊,在浪潮集團的五個研發(fā)中心構建了千人級研發(fā)團隊,并且有六個國家級研究機構一起支撐存儲研發(fā)工作。

另外,浪潮也一直在積極參與核心存儲產(chǎn)業(yè)技術組織,是存儲產(chǎn)業(yè)技術創(chuàng)新戰(zhàn)略聯(lián)盟理事長單位,也是海量存儲標準委員會成員。近年來,浪潮積極參與國家存儲領域的標準制定,主導了國內存儲領域三個最基本的、最核心的存儲國家標準,包括磁盤陣列標準、網(wǎng)絡存儲和備份存儲標準。在這些過程中,浪潮同時積累了相當多的發(fā)明專利。

?源于持續(xù)投入的決心,經(jīng)過多年的技術積累,浪潮逐漸掌握了全棧技術。“應該說我們已經(jīng)掌握絕大部分的技術,也有實力去做一些底層芯片的設計。我們的技術能力已經(jīng)到了一定程度,現(xiàn)在到了釋放我們這種技術能力的階段。”李輝如今的底氣很足。

數(shù)據(jù)應用最重要的幾個領域,例如管命的地方(醫(yī)院)、管錢的地方(銀行)、管數(shù)的地方(運營商),這些行業(yè)對存儲的要求極高,浪潮的存儲設備已經(jīng)在上述領域被大量使用。

除了技術上的長期積累、厚積薄發(fā),中國廠商還擁有一個絕好的機遇:中國互聯(lián)網(wǎng)的快速發(fā)展,給了他們一個彎道超車的機會。中國互聯(lián)網(wǎng)發(fā)展在全球都處于領先地位,很多創(chuàng)新的應用都來自于中國,特別是在移動互聯(lián)網(wǎng)、AI這些新的方向,中國也跑在了前面。與此同時,浪潮也跟著客戶一起跑在了技術的潮頭。

比如中國移動正在推進的“大云戰(zhàn)略”,演進目標就是把所有的通訊基礎設施當中的存儲設備,從原來的架構換成分布式架構,這在新數(shù)據(jù)時代就是浪潮這些中國廠商的機遇。

可以說,經(jīng)過近二十年的投入與追趕,新數(shù)據(jù)時代的到來,給浪潮這樣的中國IT企業(yè)一個領跑下一階段的絕佳機會。

當下的存儲市場是一個轉折點,在數(shù)據(jù)淘金時代,中國廠商將成為真正的主角。

THEEND

最新評論(評論僅代表用戶觀點)

更多
暫無評論