目前利用科技手段輔助城市管理的建設模式已經(jīng)由以前的以視頻監(jiān)控為主的平安城市建設轉向以多傳感技術為主的智慧城市建設,在這一過程中,雖然當前主要的數(shù)據(jù)量仍然來自視頻監(jiān)控攝像頭產(chǎn)生的圖像數(shù)據(jù),但由各類傳感器產(chǎn)生的數(shù)據(jù)量和數(shù)據(jù)種類正在加速增長。
例如各城市道路的交通流量信息、移動終端的身份采集信息等,對這些海量信息的存儲、分析和利用,除了提供傳統(tǒng)的安全防范、事后查證功能外,更為城市建設科學規(guī)劃、科學管理提供了充分的數(shù)據(jù)基礎,同時,在這樣一個海量大數(shù)據(jù)的時代,對于數(shù)據(jù)的安全存儲和應用也需要與之相適應的新的技術手段,而以分布式和并行處理為基礎的云計算和云存儲技術,在此過程中也得到了極大地發(fā)展。
相對傳統(tǒng)存儲而言,云存儲改變了數(shù)據(jù)垂直存儲在某一臺物理設備的存放模式,通過寬帶網(wǎng)絡集合大量的存儲設備,通過存儲虛擬化、分布式文件系統(tǒng)、底層對象化等技術將位于各單一存儲設備上的物理存儲資源進行整合,構成邏輯上統(tǒng)一的存儲資源池對外提供服務,從而在存儲容量上得以從單設備PB級橫向擴展至數(shù)十、數(shù)百PB,由于云存儲系統(tǒng)中的各節(jié)點能夠并行提供讀寫訪問服務,系統(tǒng)整體性能隨著業(yè)務節(jié)點的增加而獲得同步提升。同時,通過冗余編碼技術、遠程復制技術,進一步為系統(tǒng)提供節(jié)點級甚至數(shù)據(jù)中心級的故障保護能力。
容量和性能的按需擴展、極高的系統(tǒng)可用性,是云存儲系統(tǒng)最核心的技術特征。
通常,從云存儲的技術實現(xiàn)層次上看,從底層向上,可以分為存儲層、管理調度層、訪問接口層、應用服務層等四個層次,如下圖所示:
其中存儲層是云存儲的基礎,一臺云存儲節(jié)點設備通常能安裝24個以上的硬盤,通常通過IP接口將大量的存儲設備互連在一起形成存儲設備資源池,在一個云存儲系統(tǒng)中,底層物理存儲設備數(shù)量龐大,而且設備形態(tài)理論上也允許異構(這樣也可以接入傳統(tǒng)的IP SAN或FC SAN),在物理存儲設備之上是一個統(tǒng)一的存儲設備管理層,實現(xiàn)對物理存儲設備的邏輯虛擬化管理、狀態(tài)監(jiān)控和維護等功能。
管理調度層是云存儲最核心的部分,這一層的主要功能是在存儲層提供的存儲資源上部署分布式文件系統(tǒng)或者建立和組織存儲資源對象,并將用戶數(shù)據(jù)進行分片處理,按照設定的保護策略將分片后的數(shù)據(jù)以多副本或者冗余糾刪碼的方式分散存儲到具體的存儲資源上去。
同時,在本層還會在節(jié)點間進行讀寫負載均衡調度以及節(jié)點或存儲資源失效后的業(yè)務調度與數(shù)據(jù)重建恢復等任務,以便始終提供高性能、高可用的訪問服務。不過,在具體實現(xiàn)時,該層的功能也可能上移,位于訪問接口層和應用服務層之間,甚至直接嵌入到應用服務層中,和業(yè)務應用緊密結合,形成業(yè)務專用云存儲。