物聯(lián)網(wǎng)作為近兩年的熱詞可與人工智能相比肩。谷歌執(zhí)行董事長埃里克·施密特曾表示:互聯(lián)網(wǎng)時代已經(jīng)過去,物聯(lián)網(wǎng)時代即將來臨。對于即將到來的物聯(lián)網(wǎng)時代,所創(chuàng)造的數(shù)據(jù)將不會是互聯(lián)網(wǎng)時代數(shù)據(jù)所能比擬的,那么物聯(lián)網(wǎng)時代該如何存儲數(shù)據(jù)?
物聯(lián)網(wǎng)的發(fā)展離不開大數(shù)據(jù),依靠大數(shù)據(jù)可以提供足夠有利的資源;同時,大數(shù)據(jù)也推動了物聯(lián)網(wǎng)的發(fā)展。新時代的發(fā)展提出更高的要求,這是一種智慧化的新形態(tài),其外在表現(xiàn)就是物聯(lián)網(wǎng),而其內(nèi)涵就表現(xiàn)為大數(shù)據(jù)。簡單來說,物聯(lián)網(wǎng)的應(yīng)用,其內(nèi)在本質(zhì)就利用了大數(shù)據(jù)。大數(shù)據(jù)是物聯(lián)網(wǎng)的血液,大數(shù)據(jù)代表了物聯(lián)網(wǎng)的信息層(數(shù)據(jù)海洋),是智慧和意識產(chǎn)生的基礎(chǔ)。
物聯(lián)網(wǎng)是互聯(lián)網(wǎng)的應(yīng)用拓展,與其說物聯(lián)網(wǎng)是網(wǎng)絡(luò),不如說物聯(lián)網(wǎng)是業(yè)務(wù)和應(yīng)用。因此,應(yīng)用創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的核心,以用戶體驗為核心的創(chuàng)新是物聯(lián)網(wǎng)發(fā)展的靈魂。
以下圖為例,物聯(lián)網(wǎng)大致分為以下幾個層級:感知層,網(wǎng)絡(luò)層,應(yīng)用層。
感知層相當于人的感官和神經(jīng)末梢,用來感知和采集應(yīng)用環(huán)境中的各種數(shù)據(jù)。包括溫度、濕度、速度、位置、震動、壓力、流量、氣體等各種各樣的傳感器。在萬物互聯(lián)的場景下,每天都會有大量的傳感器終端在進行數(shù)據(jù)回傳。
物聯(lián)網(wǎng)的大數(shù)據(jù)與一般的大數(shù)據(jù)有以下不同的的特點:
1物聯(lián)網(wǎng)中的數(shù)據(jù)量更大
物聯(lián)網(wǎng)的最主要特征之一是節(jié)點的海量性,除了人和服務(wù)器之外,物品、設(shè)備等都是物聯(lián)網(wǎng)的組成節(jié)點,其數(shù)量規(guī)模遠大于互聯(lián)網(wǎng);同時,物聯(lián)網(wǎng)節(jié)點的數(shù)據(jù)生成頻率遠高于互聯(lián)網(wǎng),如傳感節(jié)點多數(shù)處于全時工作狀態(tài),數(shù)據(jù)流源源不斷。
2物聯(lián)網(wǎng)中的數(shù)據(jù)速率更高
一方面,物聯(lián)網(wǎng)中數(shù)據(jù)海量性必然要求骨干網(wǎng)匯聚更多的數(shù)據(jù),數(shù)據(jù)的傳輸速率要求更高;另一方面,由于物聯(lián)網(wǎng)與真實物理世界直接關(guān)聯(lián),很多情況下需要實時訪問、控制相應(yīng)的節(jié)點和設(shè)備,因此需要高數(shù)據(jù)傳輸速率來支持相應(yīng)的實時性。
3物聯(lián)網(wǎng)中的數(shù)據(jù)更加多樣化
物聯(lián)網(wǎng)涉及的應(yīng)用范圍廣泛,不同領(lǐng)域、不同行業(yè),需要面對不同類型、不同格式的應(yīng)用數(shù)據(jù),因此物聯(lián)網(wǎng)中數(shù)據(jù)多樣性更為突出。
4物聯(lián)網(wǎng)對數(shù)據(jù)真實性的要求更高
物聯(lián)網(wǎng)是真實物理世界與虛擬信息世界的結(jié)合,其對數(shù)據(jù)的處理以及基于此進行的決策將直接影響物理世界,物聯(lián)網(wǎng)中數(shù)據(jù)的真實性顯得尤為重要。
而大數(shù)據(jù)是物聯(lián)網(wǎng)大數(shù)據(jù)中必須的關(guān)鍵技術(shù),二者的結(jié)合能夠為物聯(lián)網(wǎng)系統(tǒng)和應(yīng)用的發(fā)展帶來更好的技術(shù)基礎(chǔ)。為了更好地將大數(shù)據(jù)技術(shù)應(yīng)用于物聯(lián)網(wǎng)應(yīng)用中,通過大數(shù)據(jù)挖掘分析為物聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)提供有用的分析,獲取價值。
大數(shù)據(jù)的存儲模型經(jīng)歷了多個發(fā)展階段。其中,關(guān)系型數(shù)據(jù)庫在計算機數(shù)據(jù)管理的發(fā)展史上是一個重要的里程碑。數(shù)據(jù)結(jié)構(gòu)化、最低冗余度、較高的程序與數(shù)據(jù)獨立性、易于擴充、易于編制應(yīng)用程序等優(yōu)點,使其一直長期被廣泛應(yīng)用于數(shù)據(jù)的存儲、處理及分析,但隨著網(wǎng)絡(luò)技術(shù)和軟件技術(shù)的飛速發(fā)展,人們發(fā)現(xiàn)關(guān)系型數(shù)據(jù)庫系統(tǒng)雖然技術(shù)很成熟,但其局限性也是顯而易見:它能很好地處理所謂的“表格型數(shù)據(jù)”,卻對越來越多復雜類型的數(shù)據(jù)無能為力。然而,在物聯(lián)網(wǎng)時代,傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對于物聯(lián)網(wǎng)大數(shù)據(jù)已然有諸多不適。由于物聯(lián)設(shè)備時刻不間斷的回傳數(shù)據(jù),人們對于數(shù)據(jù)的及時性需求越來也旺盛,物聯(lián)網(wǎng)時代的數(shù)據(jù)及時性價值 對大數(shù)據(jù)存儲及處理數(shù)據(jù)的及時性提出了更高的要求。
針對對物聯(lián)網(wǎng)時間序列數(shù)據(jù)的存儲時間序列數(shù)據(jù)——是在不同時間點上收集的數(shù)據(jù),反映事物隨時間變化而變化的過程。某個鍋爐過去24小時內(nèi)每分鐘的溫度就是典型的時間序列數(shù)據(jù),它的特點是每一個時間戳對應(yīng)一個數(shù)值(這個數(shù)值就是溫度)。在不同的應(yīng)用場景中,這個數(shù)值可以是電流、電壓、轉(zhuǎn)速、濃度、分貝、頻率,無論是哪種度量,每一個數(shù)值都對應(yīng)一個具體的采集時間戳。
物聯(lián)網(wǎng)大數(shù)據(jù)對存儲設(shè)施的要求區(qū)別于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫,新的數(shù)據(jù)存儲設(shè)施需要針對物聯(lián)網(wǎng)時間序列數(shù)據(jù)的存儲、查詢和展現(xiàn)進行了專門的優(yōu)化,從而獲得極高的數(shù)據(jù)壓縮能力、極優(yōu)的查詢性能,特別契合需要處理海量時間序列數(shù)據(jù)的物聯(lián)網(wǎng)應(yīng)用場景,在工業(yè)制造、環(huán)境、能源、水務(wù)、物流等領(lǐng)域有著巨大的需求。
(原標題:物聯(lián)網(wǎng)大數(shù)據(jù)如何存儲---時序數(shù)據(jù)庫)