隨著信息技術、移動互聯網、物聯網等技術的發(fā)展,數據出現指數型的增長,大數據的技術及應用得到了高度的關注和重視,甚至被列入了國家的戰(zhàn)略。
大家是否知道數據的種類很多,分類方式也有很多種,有的以用戶對象來分類的,如政務數據、行業(yè)數據、個人數據;有的會以數據存儲形式分類,如結構化數據、半結構化數據、結構化數據。但是還有一種分類把數據分為冷數據、溫數據、熱數據,難道數據還有溫度?顧名思義,數據肯定是沒有溫度的。那為什么這么去分呢?
冷數據是較長時間之前的狀態(tài)數據,即用戶畫像數據,常見的有銀行憑證、稅務憑證、醫(yī)療檔案、影視資料等。冷數據不需要實時訪問到離線數據,用于災難恢復的備份或者因為要遵守法律規(guī)定必須保留一段時間的。
溫數據是非即時的狀態(tài)和行為數據。簡單理解可以這樣,把熱數據和冷數據混在一起就成了溫數據。比如用戶近期對某一類型的話題特別感興趣(熱數據),與以往的行為(冷數據)形成鮮明對比,這說明該用戶正處于新用戶的成長期(溫數據),運營人員就可以考慮用相應的策略去拉動活躍度并促進轉化。
熱數據指即時的位置狀態(tài)、交易和瀏覽行為。如即時的地理位置,某一特定時間活躍的手機應用等,能夠表征“正在什么位置干什么事情”。另外一些實時的記錄信息,如用戶剛剛打開某個軟件或者網站進行了一些操作,熱數據可以通過第三方平臺去積累,開發(fā)者也可以根據用戶使用行為積累。
了解完冷、溫、熱數據的概念后,我們今天來重點聊一下冷數據的存儲:
對于企業(yè)這些冷數據訪問頻率低,但不能刪除,而且隨著時間的推移,冷數據容量增加飛快,甚至呈幾何級的增長。如何存儲、管理和使用這些數據,是現代企業(yè)面臨的難題。
帶寬和基礎架構成本不斷增長,而這些成本通常需要支持更多存儲(甚至便宜的存儲)以及包含大數據的更大文件。更多的存儲空間需要更多的資金用于處理、網絡和人員等支持資源。與存儲相關的成本會增加的另一個原因是,保留大型文件的多個版本時災難恢復和備份過程變得復雜。
結果是,需要為很少使用或根本不使用的數據留出額外的存儲空間,尤其是大數據的需要超出了存儲空間的規(guī)模,這無疑增加了總體IT支出。
行業(yè)分析:醫(yī)院
1.目前醫(yī)療信息化現狀:
基礎設施:醫(yī)院業(yè)務的快速增長,IT投入逐年上漲,導致人力、物力、空間等成本劇增;
數據處理:醫(yī)療數據海量小文件,導致醫(yī)院產生大量沉默數據;IT人員需要花大量在數據管理、搜索和準備工作中;醫(yī)院急需提升數據敏捷度,增強全量數據管理能能力;
影像數據:醫(yī)院存儲的80%-85%的數據來自影像數據;一次心血管CT檢查的數據 > 2GB/次;影像數據要長期保存15-30年;三甲醫(yī)院影像數據量增長近100TB/年;
安全防護:為在短期內達到“PACS/HIS信息管理系統(tǒng)”通過等保三級的目標,同時也是為了醫(yī)院信息化的迭代與發(fā)展,希望在本地找尋具備高品質服務水平IT服務商為醫(yī)院提供業(yè)務上云的方案。
2.醫(yī)療信息化發(fā)展趨勢
醫(yī)療信息化的發(fā)展階段主要分為:醫(yī)院管理信息化(HIS)階段,關注醫(yī)院和管理;醫(yī)院臨床醫(yī)療管理信息化(CIS)階段,關注病患和服務;區(qū)域醫(yī)療衛(wèi)生服務(GMIS)階段,關注醫(yī)療資源共享。
當前,我國醫(yī)療信息化正處于第二階段向第三階段過渡時期,在第三階段,衛(wèi)健委等醫(yī)療管理機構,區(qū)域領軍醫(yī)療機構,解決方案領導者將扮演重要角色,區(qū)域信息化平臺、醫(yī)聯體、居民健康檔案、遠程醫(yī)療、分級診療等將是醫(yī)療信息化的主要呈現方式。
目前醫(yī)院和企業(yè)針對冷數據可以采取以下兩個方法來有效地管理其冷存儲數據。
1、使用便宜不靠譜的本地冷存儲
對于很少使用或存檔的數據,慢速硬盤驅動器和磁帶是最常用的存儲介質。重要的是定期測試磁盤和磁帶,以確保它們工作正常。另外,要避免將舊的驅動器和磁帶降級為歸檔和數據備份功能——這些資源仍然有使用壽命,如果它們太舊,則更有可能出現故障。
2.考慮基于云的冷存儲
如果您不想在現場或物理外部設施中存儲大數據,則可以選擇使用云。使用云存儲一方面避免了定期測試工作,減少了維護成本,另一方面不用企業(yè)投入硬件成本。
對于企業(yè)的非結構化數據存儲,云服務商大都提供的是對象存儲,對象存儲滿足了客戶數據上云需求,但是存在著價格偏貴,對于冷數據存儲,仍然存在著投入成本過大的問題。
對此,中國移動推出了歸檔型存儲,歸檔存儲是面向企業(yè)和個人開發(fā)者提供的低成本、高可靠且易于管理的存儲服務,針對海量、重要且訪問頻率極低的非結構化數據進行長期的歸檔保存和備份管理,可以通過API 對存儲的數據進行訪問。
產品優(yōu)勢
保存?zhèn)浞荩簩χ匾以L問頻率極低的非結構化數據進行長期的歸檔保存和備份管理。
安全可信:提供數據鎖定機制,防止數據被修改和刪除,保障數據安全。
降低成本:用戶可以以低廉的存儲費用,享受存放海量數據,極大降低存儲成本。
友好易用:采用分布式云端存儲,任何有網絡的地方都可以通過控制臺RESTful API管理數據。
產品功能
存儲備份:可以將任意數量和任何形式的非結構化數據進行歸檔存儲,實現數據的容災和備份。
數據安全:支持多冗余的可靠架構、完整性校驗、權限控制、加密、日志審計、數據合規(guī)等。
企業(yè)級數據管理:支持生命周期、回源、更豐富的數據上傳與下載方式、事件通知、回調等。
便捷易用:提供RESTful API、控制臺、多種開發(fā)語言的SDK、命令行工具、圖形化工具等多種使用方式,可以隨時隨地通過網絡管理數據。
應用場景
1.監(jiān)控視頻:
視頻監(jiān)控行業(yè)由于數據量增長迅速且數據保存較久,所以積累的數據量龐大,需要對這些視頻數據資源進行管理。
視頻數據流經過預處理后會自動存入歸檔存儲,可設置自動刪除過期的視頻數據資源,特定情況下還可快速取回視頻資料進行審查監(jiān)控。
2.多媒體
電視臺在線媒體庫熱點視頻根據時間和熱度,需要定期降冷,大量舊的視頻數據作為歷史資料可以安全的在歸檔存儲保存幾年甚至十幾年。
支持將過期下架的原始媒體數據,存入歸檔存儲離線媒體庫,釋放存儲空間資源。在有視頻點播需求的時候,可快速復原數據。
3.醫(yī)療影像
為了解決醫(yī)療機構數據存儲和容災備份的問題,中國移動為其提供醫(yī)學影像數據存儲、備份、容災等功能,將現有影像數據保存至歸檔型存儲,實現數據的多點容災,安全可靠,長久低成本存儲。