當前，視頻安防監(jiān)控技術(shù)結(jié)合大數(shù)據(jù)深度分析，使其與細分行業(yè)下用戶需求相結(jié)合愈加緊密，尤其隨著AI時代的到來，基于深度學習的人工智能算法結(jié)合安防場景化的落地，已經(jīng)成為安防企業(yè)創(chuàng)新發(fā)展的試金石。在這個過程中，云存儲技術(shù)正在不斷適應AI+安防的應用特點，從用戶需求角度出發(fā)，實現(xiàn)云存儲技術(shù)迭代更新與應用延伸。
目前，業(yè)內(nèi)的AI數(shù)據(jù)內(nèi)容主要有人臉數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)兩種，包含機動車、非機動車、行人。數(shù)據(jù)類型包含了圖片、抓拍記錄、報警記錄、圖片屬性信息等一系列非結(jié)構(gòu)化數(shù)據(jù)。這類數(shù)據(jù)的特點是比較碎片化，與視頻流數(shù)據(jù)類型不同。視頻流可以保證持續(xù)不斷的寫入，而且文件打包大小比較均勻。但是碎片化的文件，由于其大小和數(shù)量都是未知，零散的寫入對CPU和硬盤資源的消耗都是很大的。對于這種比較特別的數(shù)據(jù)類型，傳統(tǒng)的流媒體服務無法進行處理。目前主流安防廠商都為此專門開發(fā)了用于拉取此類數(shù)據(jù)流的軟件，安裝在通用的存儲硬件中就可實現(xiàn)存儲功能。此外，通過應用層與底層的對接，可以實現(xiàn)一體化的AI數(shù)據(jù)云存儲，但是當數(shù)據(jù)類型進一步進化，出現(xiàn)新的數(shù)據(jù)結(jié)構(gòu)時，云存儲將如何應對？因此，針對安防行業(yè)的業(yè)務特性，云存儲的以下兩大技術(shù)方向需要重點突破。
1、高效元數(shù)據(jù)組織和框架構(gòu)建，解決大規(guī)模集群管理和海量文件的問題。
整個分布式系統(tǒng)中需要管理的節(jié)點數(shù)成百上千臺，用戶的一個真實文件會被分布在多臺節(jié)點上，由多臺節(jié)點負責承載真實數(shù)據(jù)的寫入。在讀取時需要經(jīng)過元數(shù)據(jù)管理服務器請求拿到數(shù)據(jù)位置信息，從而發(fā)起讀取。而針對元數(shù)據(jù)請求的性能是逐級遞歸還是一次訪問就能完成操作，是衡量整個系統(tǒng)性能的關(guān)鍵要素。元數(shù)據(jù)服務作為核心，需要能在支持上千的節(jié)點、上萬的客戶端請求完成高速并發(fā)處理，這在基礎(chǔ)的協(xié)議框架和信令交互模型上就需要考慮齊全，通過超高協(xié)議序列化和反序列化性能、可擴展的協(xié)議設計、網(wǎng)絡框架模型、任務處理模型這些底層基礎(chǔ)件上一層層向上，在每個環(huán)節(jié)中都做到高效處理。對于文件的數(shù)據(jù)塊組織管理，一方面要控制較好的粒度實現(xiàn)IO能充分發(fā)揮多節(jié)點多磁盤的優(yōu)勢，另一方面需要降低元數(shù)據(jù)的管理壓力，提升管理的集群規(guī)模數(shù)和文件數(shù)量。
2、明確的讀寫模型對提供業(yè)務使用語義，解決視頻和圖片不同寫入和讀取要求。
常見的讀寫并非提供一個接口就行，需要有明確的讀寫語義。比如文件系統(tǒng)提供的是文件操作語義，按open/write/read/close模式，并支持seek和修改、追加的語義；S3接口提供的是putObject/getObject接口，按照一次完成上傳，上傳后可以見的語義；HDFS提供的是類似文件系統(tǒng)的操作語義，但不支持修改。對視頻而言，應該按照文件的語義但又無需支持追加和修改，僅需支持流式的寫入，并支持邊寫邊讀，避免業(yè)務層需要開大緩存或者將視頻文件緩存本地才能上傳。對于圖片寫入方式也是同理，也應支持文件流方式寫入。再從文件名角度看，由于每張圖片對應一條前端的抓拍記錄，因此對圖片地址可以隨結(jié)構(gòu)化記錄一起存儲，對于用戶來說無需關(guān)系圖片地址生成方式，這意味著圖片地址可以由系統(tǒng)返回進行生成。對于視頻流存儲后形成的錄像文件來說，使用方可以無需記錄每段錄像文件名，通過云存儲提供的指定文件名能力，按照自定義的業(yè)務邏輯生成文件名，后續(xù)按照規(guī)則進行查詢即可完成錄像列表或者指定錄像文件的回放。
