如今,人們存儲了比以往更多的數(shù)據(jù),這是由于正在產(chǎn)生更多數(shù)據(jù),或者因為不斷發(fā)展的存儲技術讓人們可以存儲更多的數(shù)據(jù)。
無論是在本地存儲還是在云存儲數(shù)據(jù),都有可能比以往更快地增加總存儲量。當涉及到存儲量時,在以往,對容量升級要求中會看到數(shù)十TB的增長,而如今經(jīng)??吹絇B級的存儲要求或更多。
人們真的需要更多的數(shù)據(jù)來保持競爭力嗎?應該是。那么是否能夠負擔起這么龐大的存儲庫?似乎可以。然而,這些問題引發(fā)了一個更基本的“雞與蛋”問題:人們存儲更多的數(shù)據(jù)是因為正在產(chǎn)生更多的數(shù)據(jù),還是因為不斷發(fā)展的存儲技術可以讓人們存儲這么多數(shù)據(jù)?
數(shù)據(jù)存儲經(jīng)濟學
從定價的角度來看,這個問題變成了推動存儲設備價格的因素,這是否增加了對數(shù)據(jù)存儲或更多存儲供應的需求?當人們問這種問題時,他們需要知道誰真正了解基本的供求曲線,并考慮供應方的答案。人們傾向于把需求側(cè)解釋作為解釋存儲價格波動最直接的方法。這可能是假設存儲供應是一個遠程常量,同時展望數(shù)據(jù)存儲需求可能的變化。
但是,如果存儲量是恒定的,考慮到海量的數(shù)據(jù)增長,那么存儲的價格應該非常昂貴。數(shù)據(jù)的大規(guī)模存儲將受到存儲器價格(低可用性)的限制。這是多年前的情況。傳統(tǒng)的IT應用環(huán)境如今難以適應容量有限的存儲基礎設施,而這些存儲基礎設施已經(jīng)不能滿足不斷增長的需求。
如今,數(shù)據(jù)容量正在快速增長,但存儲設備價格不斷下降(每單位存儲容量)。毫無疑問,存儲設備供應增長速度快于數(shù)據(jù)存儲需求。有些存儲技術帶來了巨大供應優(yōu)勢,例如共享云存儲,以及摩爾定律和Hadoop分布式文件系統(tǒng)等集群式開源文件系統(tǒng)等集群的存儲容量,這使得大容量存儲設備降低了成本,因此,盡管在數(shù)據(jù)存儲需求方面大幅增長,但存儲產(chǎn)品的價格卻不斷下降。
無盡的數(shù)據(jù)存儲
當企業(yè)采用熱門的新存儲技術時,傾向于采用閃存和非易失性快速存儲器等主要存儲技術。GB字節(jié)的主存儲設備的相對價值已經(jīng)大大提高。人們還要考慮到閃存存儲技術對存儲容量的影響,而不僅僅是性能。如果閃存存儲設備能夠以傳統(tǒng)存儲設備十分之一的時間內(nèi)提供給工作負載,相當于可以在同一時間內(nèi)為10個類似的工作負載提供服務,從而提供有效地將其存儲速度提高10倍。
但是,不要低估二次存儲中發(fā)生的主要變化。離線檔案已經(jīng)聯(lián)機,并按需提供大數(shù)據(jù)流,可以保持所有老化數(shù)據(jù)的可訪問性和實用性。用戶可以使用混合對象存儲來版本化、備份和恢復企業(yè)的整個文件系統(tǒng)。與過去的數(shù)據(jù)保護目標不同,這些目標可以直接向受眾提供企業(yè)所有珍貴的文件,使用全局命名空間,并執(zhí)行每個對象的安全策略。
人們也看到分析技術逐漸融入存儲設備中。IT架構師正試圖利用將存儲技術融合到計算堆棧中所獲得的優(yōu)勢。對于存儲人員來說,同樣值得關注的趨勢是讓計算能力更接近存儲堆棧。
存儲方法正在興起,它將支持和處理更接近數(shù)據(jù)存儲位置的計算功能,而不是將數(shù)據(jù)從存儲區(qū)傳送到某個遠程處理單元。隨著數(shù)據(jù)集的增長,人們將看到更多的本地存儲的應用。這是大數(shù)據(jù)處理的基本原則。一些存儲產(chǎn)品可以托管本地虛擬機和容器化應用程序,甚至可以處理遠程提交的“lambda”函數(shù),就像在函數(shù)式編程中傳遞匿名函數(shù)一樣。
開始進行本地存儲處理的重點可能首先在于性能。但通過大規(guī)模有效地應用分析的方式,計算存儲為日益增長的實時應用程序開辟了新的途徑,以利用收集和處理更高容量的數(shù)據(jù)。例如,未來物聯(lián)網(wǎng)(IoT)中所有物聯(lián)網(wǎng)設備都將生成有用的數(shù)據(jù)。如果能夠在首次記錄時利用物聯(lián)網(wǎng)數(shù)據(jù),將最終再次存儲更多的數(shù)據(jù)。
存儲行業(yè)人士對存儲方面的“雞與蛋問題”的回答是,當人們學習從數(shù)據(jù)中挖掘更多價值時,希望產(chǎn)生和存儲更多數(shù)據(jù)。因此,首先需要做的是,人們能夠在更大的規(guī)模和更快的速度上應用更有效的分析,以獲得更細粒度的數(shù)據(jù)。
精明的存儲設備廠商不僅僅是幫助企業(yè)管理更大的數(shù)據(jù)量,而且還將其設備部署到存儲系統(tǒng)中,以幫助開發(fā)所有數(shù)據(jù)。非結(jié)構化數(shù)據(jù)搜索、大數(shù)據(jù)分析、在線活動歸檔、流式數(shù)據(jù)服務,以及全局名稱空間只是當今高級存儲產(chǎn)品中少數(shù)的數(shù)據(jù)挖掘功能。
這意味著存儲專家仍然面臨著一項具有挑戰(zhàn)性的工作。他們需要確保足夠合適的存儲服務來滿足數(shù)據(jù)存儲的需求。此外,由于存儲不再是被動地存儲,而是一個活躍的融合平臺,他們必須提供并調(diào)整存儲策略,才能充分利用其中包含的數(shù)據(jù)。