一、當(dāng)前安防存儲的需求
在當(dāng)前安防應(yīng)用場景下，隨著智能化和大數(shù)據(jù)技術(shù)的發(fā)展，針對安防數(shù)據(jù)的存儲主要有海量視頻存儲需求、海量小文件存儲需求以及安防大數(shù)據(jù)的存儲和處理需求。
1、海量視頻流存儲需求
隨著安防行業(yè)高清化持續(xù)發(fā)展，監(jiān)控點(diǎn)位的持續(xù)增加，聯(lián)網(wǎng)規(guī)模的日益龐大，產(chǎn)生了海量的視頻流存儲需求，而視頻云存儲則是當(dāng)前滿足海量視頻存儲需求的主要產(chǎn)品。安防云存儲通過虛擬化技術(shù)全面整合磁盤陣列的存儲容量，可按需分配空間且能夠靈活調(diào)整空間大小。而前端攝像機(jī)則可通過視頻流協(xié)議或者存儲接口協(xié)議直寫云存儲，縮短了前端到存儲的距離，充分發(fā)揮了存儲產(chǎn)品的業(yè)務(wù)特性，避免大量流媒體服務(wù)器的使用，有效降低了投資成本。這些大量的并發(fā)實(shí)時(shí)視頻流通過云存儲設(shè)備集群實(shí)現(xiàn)負(fù)載均衡調(diào)度，以集群響應(yīng)的方式提供視頻數(shù)據(jù)的高并發(fā)存儲能力以及回放下載能力。在存儲底層則采用糾刪碼、副本或者各種RAID技術(shù)均衡數(shù)據(jù)存儲并提供可靠的數(shù)據(jù)保護(hù)，即使節(jié)點(diǎn)出現(xiàn)故障也不會造成數(shù)據(jù)丟失。此外，為了方便視頻的回放定位，一些云存儲還采用了專業(yè)的視頻數(shù)據(jù)索引技術(shù)，可根據(jù)視頻存儲的業(yè)務(wù)特定，按照存儲時(shí)間及點(diǎn)位信息提供高性能的視頻查詢檢索速率，達(dá)到秒級響應(yīng)。在視頻回放的同時(shí)還可支持通過時(shí)間滑塊拖拉定位、視頻快進(jìn)、慢放以及系統(tǒng)事件點(diǎn)定點(diǎn)回放等多種策略。
2、海量小文件的存儲需求
海量小文件的存儲需求主要來自當(dāng)前安防智能化的應(yīng)用。安防中的視頻圖像AI智能化應(yīng)用通過人、車、物等對象的深度學(xué)習(xí)智能分析算法，從視頻流或者視頻圖片中提取出對應(yīng)的目標(biāo)對象圖片以及相關(guān)的屬性信息，從而達(dá)到通過視頻智能識別、跟蹤視頻對象并分析對象特征屬性，實(shí)現(xiàn)事前及時(shí)預(yù)警、事中精確跟蹤以及事后快速分析的目的。
隨著當(dāng)前視頻圖像AI智能化應(yīng)用的不斷發(fā)展，分析的實(shí)時(shí)視頻流數(shù)量越來越大，提取的對象信息越來越多，通過解析提取出來的對象圖片和數(shù)據(jù)相當(dāng)龐大，這些數(shù)據(jù)都需要進(jìn)行實(shí)時(shí)存儲和后續(xù)的大量讀取和分析。
一方面，智能化的前端攝像機(jī)設(shè)備越來越多，如車輛卡口攝像機(jī)、人像卡口攝像機(jī)、智能視頻結(jié)構(gòu)化攝像機(jī)等，每天產(chǎn)生大量的目標(biāo)抓拍圖片，并匯聚到中心。以一臺標(biāo)準(zhǔn)車輛卡口攝像機(jī)為例，只針對單車道的場景，一般正常路況一天1000臺車輛，如果是交通繁忙車道可能會到5000張以上。而針對人像的采集，正常情況下，平均一個(gè)人像卡口攝像機(jī)一天采集3000張左右的人像，繁忙地段一天可能采集10000～15000張。而針對普通監(jiān)控場景的結(jié)構(gòu)化攝像機(jī)，同時(shí)采集車輛和人像的目標(biāo)數(shù)量更多，一臺攝像機(jī)每天可達(dá)到20000張左右。按照一個(gè)系統(tǒng)1000臺智能化相機(jī)的中等規(guī)模，每個(gè)監(jiān)控點(diǎn)采集10000張目標(biāo)圖片計(jì)算，數(shù)據(jù)存儲180天則可達(dá)到18億張圖片。
另一方面，為了進(jìn)一步擴(kuò)大智能分析數(shù)據(jù)的覆蓋范圍，解決非智能前端的目標(biāo)識別和信息提取，當(dāng)前大多數(shù)安防系統(tǒng)都部署了后端智能分析算法，用于分析實(shí)時(shí)視頻流數(shù)據(jù)或者歷史視頻流數(shù)據(jù)，比如視頻結(jié)構(gòu)化分析算法、基于視頻流分析的車輛分析算法以及人像分析算法等，這些后端的智能分析算法也隨著算法的成熟應(yīng)用范圍越來越廣，智能分析的規(guī)模也越來越大，針對視頻流分析的結(jié)果也產(chǎn)生大量的目標(biāo)圖片要寫入到存儲之中。
此外，不少后端的智能分析算法是針對前端采集的圖片進(jìn)行二次分析，依靠后端強(qiáng)大的算力以及先進(jìn)的算法分析能力，將前端采集的圖片再進(jìn)行一次深度分析，提取更多也更準(zhǔn)確的目標(biāo)屬性，這些圖片可以是前端直接發(fā)送到分析系統(tǒng)的，也可以由采集服務(wù)先存儲，然后再由分析系統(tǒng)從存儲系統(tǒng)中調(diào)取前端抓拍的圖片進(jìn)行分析，然后再把分析出來的結(jié)果（如人像圖、人臉圖、車輛的摳圖等）再寫回存儲。這些大量小圖片的讀寫需求對存儲系統(tǒng)提出了很大的挑戰(zhàn)。存儲系統(tǒng)小文件并發(fā)寫入能力、小文件并發(fā)讀出能力、小文件并發(fā)刪除能力以及小文件的檢索定位能力都要求能夠適應(yīng)大并發(fā)的場景。
3、安防大數(shù)據(jù)存儲和處理需求
安防中的視頻圖像AI智能化應(yīng)用不僅產(chǎn)生了大量的視頻圖片，也產(chǎn)生了大量的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)包括智能前端產(chǎn)生的目標(biāo)記錄數(shù)據(jù)，如目標(biāo)類型、目標(biāo)基本特征以及抓拍時(shí)間等，也包括后端智能分析應(yīng)用分析視頻流或者圖片后產(chǎn)生的目標(biāo)結(jié)構(gòu)化數(shù)據(jù)。這些數(shù)據(jù)隨著系統(tǒng)規(guī)模增大以及數(shù)據(jù)應(yīng)用的需求的提升而大量增加，按照之前的例子計(jì)算，1000臺的中等規(guī)模，每個(gè)監(jiān)控點(diǎn)采集10000個(gè)目標(biāo)計(jì)算，數(shù)據(jù)存儲180天則可達(dá)到18億條原始目標(biāo)記錄，如果這些原始目標(biāo)都經(jīng)過二次分析，那么數(shù)據(jù)記錄至少翻倍。這些大量的數(shù)據(jù)應(yīng)用都需要在其中進(jìn)行檢索和關(guān)聯(lián)分析，而且隨著視頻大數(shù)據(jù)應(yīng)用的發(fā)展，各種基于視頻大數(shù)據(jù)的分析統(tǒng)計(jì)應(yīng)用和技戰(zhàn)法應(yīng)用越來越豐富，涉及關(guān)聯(lián)分析的數(shù)據(jù)對象類型越來越多，一次分析任務(wù)涉及的數(shù)據(jù)量越來越大，分析的策略越來越復(fù)雜，從而對結(jié)構(gòu)化數(shù)據(jù)存儲提出的要求也越來越高。為了保證這些復(fù)雜數(shù)據(jù)分析應(yīng)用功能的使用順暢，對應(yīng)的結(jié)構(gòu)化數(shù)據(jù)的存儲需要提供高性能的海量數(shù)據(jù)讀寫能力和數(shù)據(jù)分析計(jì)算能力。因此當(dāng)前安防行業(yè)的存儲在滿足大量視頻流存儲的同時(shí)，必須要滿足海量小圖片文件以及結(jié)構(gòu)化數(shù)據(jù)存儲讀寫的需求。
二、新趨勢下的安防存儲系統(tǒng)
在視頻AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應(yīng)用的需求下，安防存儲的發(fā)展需要依靠底層存儲技術(shù)、物理設(shè)備配置以及整體系統(tǒng)架構(gòu)的協(xié)同發(fā)展。為此，云計(jì)算、大數(shù)據(jù)相關(guān)的技術(shù)和產(chǎn)品將不斷地引入安防存儲系統(tǒng)。
首先，在原來海量視頻流存儲的基礎(chǔ)上，為適應(yīng)視頻AI智能化應(yīng)用，存儲系統(tǒng)需支持高性能的小文件（如圖片、視頻片段等）存儲和讀取，提供高性能的分布式文件存儲或者對象存儲能力，支持高并發(fā)的文件寫入。由于小文件的特性，存儲和讀寫的方式跟實(shí)時(shí)視頻流存儲有很大的不同。系統(tǒng)產(chǎn)生的小文件數(shù)量很多，但是整體占用的容量卻沒實(shí)時(shí)視頻流存儲大，而由于每個(gè)文件都很小，大量并發(fā)的文件存儲進(jìn)來，存儲系統(tǒng)就必須有高效的數(shù)據(jù)緩存和讀寫機(jī)制，以及文件的索引機(jī)制，才能保證針對每個(gè)文件的檢索和讀寫效率。此外，小文件的存儲還必須考慮數(shù)據(jù)覆蓋刪除的問題通常在一些普通的存儲系統(tǒng)中都是刪除1TB的數(shù)據(jù)，刪除視頻流數(shù)據(jù)很快，但是刪除小文件則出現(xiàn)緩慢甚至阻塞問題，因?yàn)閯h除1TB的小文件可能涉及到刪除百萬量級的文件，如果存儲的文件的存儲機(jī)制不好，刪除這么多文件將會嚴(yán)重消耗存儲的資源，這些都是存儲系統(tǒng)需要面臨并解決的重要問題。為此，當(dāng)前不少存儲系統(tǒng)已經(jīng)采用了分布式對象存儲或者高性能的分布式文件系統(tǒng)技術(shù)來解決這個(gè)問題。
針對海量的結(jié)構(gòu)化數(shù)據(jù)存儲，目前在存儲系統(tǒng)上主要采用高性能的分布式數(shù)據(jù)庫，通過分布式數(shù)據(jù)庫提供高性能的結(jié)構(gòu)化數(shù)據(jù)存儲、讀寫以及數(shù)據(jù)比對分析能力，比如各種MPP數(shù)據(jù)庫和NewSql數(shù)據(jù)庫等。這些分布式數(shù)據(jù)庫系統(tǒng)本身可提供海量結(jié)構(gòu)化數(shù)據(jù)存儲管理的能力，同時(shí)在存儲硬件上一般都會配置高性能的SSD存儲介質(zhì)來滿足高性能的數(shù)據(jù)讀寫分析需求。同時(shí)對于數(shù)據(jù)量比較大的場景，系統(tǒng)還會結(jié)合應(yīng)用需求提供數(shù)據(jù)的分級存儲機(jī)制，將業(yè)務(wù)經(jīng)常使用的數(shù)據(jù)或者大概率會使用的數(shù)據(jù)（即熱數(shù)據(jù)）優(yōu)先放到高性能的存儲介質(zhì)中，比如PCIE接口的SSD固態(tài)硬盤中，或者直接加載到內(nèi)存。而其他不常用的數(shù)據(jù)（即冷數(shù)據(jù)）則放在存儲性能較低的存儲介質(zhì)中，比如SAS接口或SATA接口的機(jī)械硬盤。部分存儲系統(tǒng)還支持了冷熱數(shù)據(jù)自動遷移的能力，能夠把熱數(shù)據(jù)中不經(jīng)常使用的數(shù)據(jù)自動下沉到冷數(shù)據(jù)存儲介質(zhì)中，或者把冷數(shù)據(jù)中突然比較常用的數(shù)據(jù)再加載到高性能的熱數(shù)據(jù)存儲介質(zhì)上，這樣就有效保證了用戶常用數(shù)據(jù)都能夠高效命中并高速讀寫，滿足數(shù)據(jù)分析業(yè)務(wù)的應(yīng)用需求。
此外，為了滿足大量的數(shù)據(jù)分析、數(shù)據(jù)比對以及數(shù)據(jù)挖掘的需求，可能會在分布式數(shù)據(jù)庫服務(wù)器上運(yùn)行各種數(shù)據(jù)分析算法服務(wù)，為此，分布式的數(shù)據(jù)庫存儲設(shè)備還會配置高性能的CPU和大容量內(nèi)存，為數(shù)據(jù)處理提供強(qiáng)大的硬件支持。為了保證數(shù)據(jù)可靠性，分布式數(shù)據(jù)庫采用集群方式來避免單點(diǎn)故障對系統(tǒng)造成的影響，底層通過多副本或者網(wǎng)絡(luò)糾刪碼實(shí)現(xiàn)數(shù)據(jù)的高可靠性，不會因?yàn)槟硞€(gè)節(jié)點(diǎn)宕機(jī)導(dǎo)致數(shù)據(jù)無法訪問或數(shù)據(jù)丟失。同時(shí)通過集群的聚合性能對外提供高性能的數(shù)據(jù)讀寫分析能力。
為了同時(shí)滿足大量視頻流存儲、視頻圖像小文件存儲以及海量結(jié)構(gòu)化數(shù)據(jù)的存儲，存儲系統(tǒng)中一般都會配置云存儲系統(tǒng)和分布式數(shù)據(jù)庫系統(tǒng)，在實(shí)際應(yīng)用的部署形態(tài)上主要有融合模式和分離模式兩種部署方式。
1、融合模式
如圖1所示，該模式下分布式數(shù)據(jù)庫和云存儲部署在同一臺設(shè)備上，多臺設(shè)備構(gòu)成一個(gè)存儲集群。單臺設(shè)備既存儲視頻流和圖片等非結(jié)構(gòu)化數(shù)據(jù)，也同時(shí)存儲結(jié)構(gòu)化的目標(biāo)采集數(shù)據(jù)，同時(shí)還對外提供結(jié)構(gòu)化數(shù)據(jù)的檢索分析能力。
圖1計(jì)算和存儲融合模式
這種模式一般比較適用于小規(guī)模的系統(tǒng)建設(shè)，一臺設(shè)備或者兩臺設(shè)備即可完成所有的視頻圖像數(shù)據(jù)存儲服務(wù)，成本相對也比較低。而且一般情況下，存儲設(shè)備是專用設(shè)備，會采用一體機(jī)的生產(chǎn)模式，安裝部署起來也相對比較簡單。方案的劣勢主要是系統(tǒng)的擴(kuò)容不夠靈活，擴(kuò)容需要按單臺設(shè)備擴(kuò)容，如果只是擴(kuò)容視頻或圖片等非結(jié)構(gòu)化數(shù)據(jù)，也需要一臺完整的設(shè)備來支持，用于分析計(jì)算的能力可能就會冗余。而如果只是想擴(kuò)展數(shù)據(jù)的分析計(jì)算能力而增加設(shè)備，存儲能力也會隨之?dāng)U展。此外，分布式數(shù)據(jù)庫和云存儲畢竟是兩套不一樣的存儲系統(tǒng)，都在一套存儲設(shè)備上部署也涉及到資源的共享和沖突，相應(yīng)的業(yè)務(wù)效率可能就沒那么高。
2、分離模式
如圖2所示，該模式下分布式數(shù)據(jù)庫和云存儲分開部署在不同設(shè)備上，分布式數(shù)據(jù)庫部署在高性能的存儲服務(wù)器上，配置高性能的CPU，大容量的內(nèi)存，高性能的SSD存儲介質(zhì)；云存儲則采用存儲陣列設(shè)備提供大容量的磁盤存儲空間。計(jì)算和存儲形成兩個(gè)獨(dú)立的存儲集群，通過網(wǎng)絡(luò)提供數(shù)據(jù)服務(wù)和存儲服務(wù)。
圖2分離模式
這種應(yīng)用模式下，視頻圖像的結(jié)構(gòu)化數(shù)據(jù)存儲在分布式數(shù)據(jù)庫所在的高性能存儲服務(wù)器上，而視頻流、圖片等非結(jié)構(gòu)化數(shù)據(jù)則存儲在云存儲陣列上。這種方式的主要優(yōu)勢是擴(kuò)展比較靈活和方便，結(jié)構(gòu)化存儲和非結(jié)構(gòu)化存儲都可以獨(dú)立擴(kuò)展，互不影響。所以當(dāng)只需要擴(kuò)容視頻流、圖片等存儲空間時(shí)，只需要擴(kuò)容云存儲即可，不需要擴(kuò)容分布式數(shù)據(jù)庫，也就是不需要再增加部署分布式數(shù)據(jù)庫服務(wù)器。同樣，當(dāng)用戶需要擴(kuò)展數(shù)據(jù)分析能力時(shí)，可以只擴(kuò)容分布式數(shù)據(jù)庫服務(wù)器，不需要擴(kuò)容云存儲系統(tǒng)。這樣就可以根據(jù)用戶的具體應(yīng)用需求針對性地靈活擴(kuò)展。該種模式主要用于中型或大型的系統(tǒng)中，小規(guī)模的場景下成本相對會比較高。
三、結(jié)語
在當(dāng)前安防行業(yè)AI智能化、安防大數(shù)據(jù)及數(shù)據(jù)融合分析應(yīng)用的新趨勢下，安防存儲系統(tǒng)將更多地采用云計(jì)算、大數(shù)據(jù)相關(guān)技術(shù)，并不斷優(yōu)化提升底層的數(shù)據(jù)存儲機(jī)制，通過先進(jìn)的對象存儲、分布式文件存儲以及分布式數(shù)據(jù)庫可滿足海量高清視頻、海量小圖片文件以及海量視頻圖像目標(biāo)結(jié)構(gòu)化數(shù)據(jù)的存儲和應(yīng)用需求，也有效推動了安防智能化以及安防大數(shù)據(jù)應(yīng)用的快速發(fā)展。
