我們正處于數(shù)據(jù)爆發(fā)的時(shí)代，大數(shù)據(jù)、移動(dòng)互聯(lián)網(wǎng)、人工智能、物聯(lián)網(wǎng)等技術(shù)的發(fā)展，極大地促進(jìn)了數(shù)字化進(jìn)展。隨著更多創(chuàng)新應(yīng)用的出現(xiàn)，數(shù)據(jù)價(jià)值被廣泛挖掘，數(shù)據(jù)重要性也得到了越來越多的認(rèn)可。
此前IDC發(fā)布的一份白皮書中預(yù)測(cè)，全球數(shù)據(jù)圈將從2018年的33ZB增至2025年的175ZB，實(shí)現(xiàn)5倍以上的增長(zhǎng)。而所謂“數(shù)據(jù)圈”，即每年被創(chuàng)建、采集或是復(fù)制的數(shù)據(jù)集合。
白皮書中還指出，娛樂數(shù)據(jù)和視頻監(jiān)控圖像長(zhǎng)期以來(并將繼續(xù))是全球數(shù)據(jù)圈的重要推動(dòng)因素。物聯(lián)網(wǎng)(IoT)設(shè)備信號(hào)、元數(shù)據(jù)(對(duì)分析、情境化和人工智能至關(guān)重要)和生產(chǎn)力數(shù)據(jù)，在當(dāng)今日益數(shù)字化的世界中增長(zhǎng)速度更快。
不應(yīng)被隨意拋棄的冷數(shù)據(jù)，存儲(chǔ)是難題
在另外一份統(tǒng)計(jì)中，IDC指出在這些海量數(shù)據(jù)中，只有10%~15%的數(shù)據(jù)是經(jīng)常被訪問的“熱數(shù)據(jù)”，絕大部分?jǐn)?shù)據(jù)在產(chǎn)生之后使用頻率就會(huì)大幅降低，甚至完全不再被訪問，成為“冷數(shù)據(jù)”。
雖然訪問率極低，但人工智能技術(shù)的發(fā)展賦予了這些數(shù)據(jù)新的生命力，隨著其隱藏價(jià)值不斷被挖掘，并且大量創(chuàng)造商業(yè)價(jià)值，數(shù)據(jù)已成為企業(yè)的核心資產(chǎn)。因此，數(shù)據(jù)是無論如何都不能被輕易丟棄的，無論它們是冷是熱。
但由于冷數(shù)據(jù)量過于龐大，往往會(huì)帶來許多存儲(chǔ)方面的挑戰(zhàn)。
最直接擺在企業(yè)IT部門面前的，就是成本問題。面對(duì)井噴式增長(zhǎng)的數(shù)據(jù)，如果只是簡(jiǎn)單地通過增加存儲(chǔ)節(jié)點(diǎn)來提高容量，勢(shì)必也將帶來成本的線性增加，這對(duì)很多企業(yè)來說是難以接受的。此外，設(shè)備占地空間和供電也將帶來更高的成本。
此外，冷數(shù)據(jù)的維護(hù)與遷移也成為了一大難題。雖然是冷數(shù)據(jù)，但并不代表完全不必關(guān)注。IT部門通常需要定期對(duì)數(shù)據(jù)進(jìn)行檢查，確保數(shù)據(jù)的完整性。而且由于存儲(chǔ)設(shè)備存在使用壽命，因此也需要對(duì)設(shè)備本身進(jìn)行檢查，及時(shí)排除硬件故障。在存儲(chǔ)設(shè)備過于老化，生命周期結(jié)束之后，也需要對(duì)冷數(shù)據(jù)進(jìn)行遷移，工作量是非常大的。
最后，在進(jìn)行冷數(shù)據(jù)存儲(chǔ)時(shí)，也應(yīng)充分考慮安全性。保證數(shù)據(jù)不丟失比較常見的策略是進(jìn)行冗余備份，可一旦數(shù)據(jù)量過于龐大，問題就會(huì)接踵而至。包括成本成倍增加、需要維護(hù)的設(shè)備也相應(yīng)增加等等。第二，由于大量數(shù)據(jù)被保存在一起，數(shù)據(jù)泄漏造成的代價(jià)會(huì)更大。
值得一提的是，對(duì)于人工智能應(yīng)用而言，對(duì)于冷數(shù)據(jù)存儲(chǔ)也提出了新的要求。如快速訪問、查找數(shù)據(jù)，這樣才能確保數(shù)據(jù)科學(xué)家團(tuán)隊(duì)的工作效率。
應(yīng)對(duì)冷數(shù)據(jù)存儲(chǔ)挑戰(zhàn)的常見策略
·數(shù)據(jù)分層。根據(jù)業(yè)務(wù)實(shí)際需求，從數(shù)據(jù)訪問頻率以及數(shù)據(jù)使用價(jià)值等因素進(jìn)行考慮，制定數(shù)據(jù)“溫度表”，并以保證業(yè)務(wù)運(yùn)行為前提，制定合理的自動(dòng)分層策略，對(duì)數(shù)據(jù)的生命周期進(jìn)行分析，在數(shù)據(jù)降溫之后，自動(dòng)將其轉(zhuǎn)移到冷存儲(chǔ)層。
·數(shù)據(jù)縮減。通過數(shù)據(jù)重刪、壓縮等手段，減少存儲(chǔ)系統(tǒng)中使用的存儲(chǔ)容量，提升存儲(chǔ)空間的利用率。在大部分存儲(chǔ)設(shè)備廠商的產(chǎn)品中，都提供了數(shù)據(jù)重刪功能。這種辦法不但讓出了更多的存儲(chǔ)空間，也能有效減少帶寬占用，更便于傳輸，備份更加輕松。
·數(shù)據(jù)管理。通過智能化、自動(dòng)化的存儲(chǔ)管理系統(tǒng)，能夠有效減輕運(yùn)維人員的工作負(fù)擔(dān)，如數(shù)據(jù)檢查、數(shù)據(jù)分類、數(shù)據(jù)遷移、故障預(yù)警及排查等等，借助智能化的管理平臺(tái)，可以實(shí)現(xiàn)高效運(yùn)維。在部分管理系統(tǒng)中，也提供了機(jī)房節(jié)能策略，通過讓設(shè)備適時(shí)休眠，幫助管理人員優(yōu)化能耗。
·存儲(chǔ)介質(zhì)。目前冷數(shù)據(jù)存儲(chǔ)介質(zhì)還是以機(jī)械硬盤為主，希捷、西數(shù)、東芝等硬盤廠商也相繼推出了更高容量密度的產(chǎn)品，成為冷數(shù)據(jù)存儲(chǔ)的不錯(cuò)選擇，更高密度的硬盤也在研發(fā)中。另外，在海量數(shù)據(jù)時(shí)代，磁帶存儲(chǔ)也頗有“重生”的意思，它的購(gòu)買、使用成本更低。
·云存儲(chǔ)。云計(jì)算越來越被接受，采用云存儲(chǔ)能夠以更靈活、彈性的方式獲得足夠的存儲(chǔ)空間，同時(shí)按需付費(fèi)的方式對(duì)企業(yè)來說也是預(yù)算友好的。
最后
業(yè)務(wù)的發(fā)展，創(chuàng)新應(yīng)用的出現(xiàn)，會(huì)帶來更加復(fù)雜的IT需求，使IT環(huán)境也會(huì)愈發(fā)多元復(fù)雜。這同樣也將對(duì)冷數(shù)據(jù)存儲(chǔ)不斷提出新的需求，站在IT部門的角度上來說，為公司業(yè)務(wù)服務(wù)是終極目標(biāo)，因此在考慮冷數(shù)據(jù)存儲(chǔ)問題時(shí)，有時(shí)也需要結(jié)合業(yè)務(wù)情況靈活變通。
