大數據時代的安防雲存儲及應用方案
來源:機房360 更新時間:2014-09-21

 
隨著互聯網技術的飛速發展,雲計算、物聯網、社交網絡等新興服務促使人類社會的數據種類和規模正以前所未有的速度增長,大數據時代正式到來。據全球領先的信息技術研究和咨詢公司Gartner報告,驅動大數據發展的重要因素主要來自兩個方面:一方面是消費領域,如網購及社交媒體應用產生的大量數據;另一方面來自城市基礎設施建設,安防便是其中之一。
  1.背景
  縱觀整個安防領域,平安城市是規模最大、業務最復雜的龐大系統,涉及治安監控、指揮通信、偵查破案、規範執法、社會服務等多個分區領域,視頻接入規模從幾千到幾十萬,隨著安防監控對高清、智能、聯網的要求越來越高,各地平安城市項目每天產生的數據規模正以驚人的速度不斷增長。“十二五”期間,全國城市地區要基本完成報警與監控系統建設,實現對重點地區的全覆蓋,各省市級和有條件的縣(區)級公安機關完成監控報警平台數據庫建設,實現跨地區、跨部門、跨警種的信息共享。
  2011年,“3111工程”進入整體推進階段,推廣至每個地級市,整體直接投資近1000億元。未來五年內,中國各大城市將繼續投入巨額資金全面開展平安城市的聯網監控系統的建設。據公安部科技局的估計,一個中型城市的平安城市建設投入將達幾百億,其中視頻監控系統所占比例為28%,而存儲設備的投資往往會占到視頻監控設備總投資的20%~40%,同時隨著視頻監控高清化的發展,對存儲設備的容量需求將直接數倍乃至十余倍地增長,大數據的規模效應給數據存儲、管理以及數據分析帶來了極大的挑戰,數據管理方式上的變革正在醞釀和發生。目前我國共有2300多個地市城市和縣城,蘊藏著巨大的市場潛力。
  2.雲存儲應運而生
  從目前大部分城市的安防系統架構看,安防大數據的傳輸渠道主要是網絡,一般都采用聯網彙聚、分級存儲的機制,網絡一般為千兆網,存儲也以一般的磁盤陣列存儲為主。為了適應安防信息整合,安防數據分析和信息挖掘的需求,安防系統逐步傾向於互聯、整合,而安防數據信息也逐漸的彙聚和集成,出現了萬兆網絡集中彙聚管理,並且以雲存儲作為視頻圖像數據存儲平台的趨勢。目前,雲存儲已成為安防大數據的核心技術,各廠商也在著力提升自己的研發能力。
  2.1.結構模型
  本文所要介紹的雲存儲系統的結構模型共由4層組成。130554134865245799_new.jpg (535×372)
雲存儲系統結構示意圖
  1)數據存儲層
  數據存儲層是雲存儲最基礎的部分。存儲設備可以是FC光纖通道存儲設備,可以是NAS和iSCSI等IP存儲設備,也可以是SCSI或SAS等DAS存儲設備,當然也可以是普通的PC機硬盤。雲存儲中的存儲設備往往數量龐大且分布多不同地域,彼此之間通過廣域網、互聯網或者FC光纖通道網絡連接在一起。存儲設備之上是一個統一存儲設備管理系統,可以實現存儲設備的邏輯虛擬化管理、多鏈路冗余管理,以及硬件設備的狀態監控和故障維護。
  2)數據管理層
  數據管理層是雲存儲最核心的部分,也是雲存儲中最難以實現的部分。數據管理層通過集群、分布式文件系統和網格計算等技術,實現雲存儲中多個存儲設備之間的協同工作,使多個的存儲設備可以對外提供同一種服務,並提供更大更強更好的數據訪問性能。CDN內容分發系統、數據加密技術保證雲存儲中的數據不會被未授權的用戶所訪問,同時,通過各種數據備份和容災技術和措施可以保證雲存儲中的數據不會丟失,保證雲存儲自身的安全和穩定。
  3)數據服務層
  數據服務層是雲存儲最靈活多變的部分。不同的雲存儲運營單位可以根據實際業務類型,開發不同的應用服務接口,提供不同的應用服務。比如視頻監控應用平台、IPTV和視頻點播應用平台、網絡硬盤引用平台,遠程數據備份應用平台等。
  4)應用訪問層
  任何一個授權用戶都可以通過標准的公用應用接口來登錄雲存儲系統,享受雲存儲服務。雲存儲運營單位不同,雲存儲提供的訪問類型和訪問手段也不同。

 2.2.雲存儲拓撲
  根據雲存儲架構的特點,雲存儲系統應用拓撲如圖所示。
  130554135080758126_new.jpg (520×370)

視頻監控雲存儲結構
  雲存儲系統的核心由雲存儲控制服務器和後端存儲設備組成。
  1)控制節點
  雲存儲控制器負責整個系統元數據和實際數據的管理和索引,提供超大容量管理,實現後端存儲設備的高性能並發訪問和數據冗余等功能。雲存儲控制服務器是整個系統的統一管理平台,管理員可以在其中監視系統運行情況、管理系統中用戶和各項策略等。
  2)存儲節點
  雲存儲系統采用高性能應用存儲設備,可內嵌雲存儲系統訪問協議包、存儲節點認證許可等。設備采用高密度磁盤陣列設備,每套設備通過網絡接入到雲存儲系統中,進入雲存儲存儲池後進行分配。對數據存儲可實現多副本、多物理設備分別保存,當容量或帶寬需要擴展時,通過增加存儲節點來實現,根據實際需要靈活擴張,在系統運行中進行在線的容量和性能增加。
  3.雲存儲應用
  隨著公安信息化建設的不斷提速,“情報信息主導警務”的理念日漸深入,建立公安實戰平台,幫助公安部門進行可疑線索視頻情報研判及實戰應用,已成為公安機關案件偵破工作不可或缺的重要技術手段。中安消技術有限公司研究院針對公安視頻情報的分析需求開發了一套公安視頻偵查實戰平台(簡稱公安實戰平台)。公安實戰平台主要由資源接入層、雲存儲層、核心業務層構成。資源接入層主要負責各種資源,如視頻、音頻、文檔等警情資源的彙總導入,雲存儲層負責對海量信息資源進行高效存儲管理,核心業務層是整個平台最重要最核心的部分,負責對海量信息資源的檢索排查、智能處理、案件的分析研判以及對平台的綜合管理。
  對於目前大型或者超大型的高清監控系統,數據量往往是在數PB甚至上百PB的,這既需要大量存儲設備的支持,又需要對設備采集的海量數據進行高效的管理,視頻監控資料的80%是用來作為案事件的事後搜索和查詢,以提供案件線索,通常錄像資料的存儲是15天,但是案件的發生沒有預計性,有些事件發生的時間會不只15天,毫無疑問,公安部門對於視頻錄像的存儲需求很明顯。如何在有限的存儲空間內提供更長的文件記錄時間是用戶所期待的,同時公安實戰平台不僅僅是監控和存儲,還要可以提供公共安全防範,如預警、突發事件處理等服務,對存儲系統的要求很高。在充分估量平台存儲需求基礎上,公安實戰平台提供的雲存儲服務采用層次清晰的存儲架構,存儲對用戶透明,雲存儲服務接口統一,簡化了應用步驟,實現了對海量存儲設備的高效配置和透明擴展,對平台所需的海量數據的高效管理和控制,針對各種視頻的流媒體文件系統、緩存優化、數據保護機制等提供近乎100%的服務保證,充分體現了雲存儲海量存儲、應用簡單、低成本高可靠性的特點。
 130554135317941692_new.jpg (531×364)
公安實戰雲存儲應用
  4.總結
  大數據技術在安防各領域的應用並不如在IT、互聯網行業那樣成熟,在日漸龐大的數據面前,如何做到對海量視頻數據的綜合應用與精准分析,正是平安城市大數據亟待解決的問題,基於雲存儲系統之上的大容量視頻監控解決方案,以及創新的城市級海量視頻雲存儲系統和高清圖像智能分析檢索技術,決定了它需要大數據技術予以支撐,而且將是支撐未來安防監控乃至其它大容量存儲及圖像處理應用領域的最好選擇,完全滿足未來監控存儲所必須的技術需求。