來源:CTI论坛
視頻監控在高清、智慧、大聯網時代，正面臨著資料洪水的衝擊，傳統的視頻體系架構設計思路正在被挑戰，本文從大數據技術角度，提出未來視頻監控的技術發展建議。
得益於IT資訊技術的快速進步，人類可以隨時隨地記錄下產生的各類資料，而同時資料儲存的成本也正以前所未有的速度下降，一個大數據的時代在悄然來臨。根據IDC預測，全球在2010年正式進入ZB 時代，全球資料量大約每兩年翻一番，意味著人類在最近兩年產生的資料量相當於之前產生的全部資料量。爆炸式增長的資料，正推動人類進入大數據的時代。
維基百科全書的定義：“大數據是飛速增長的，用現有資料庫管理工具難以管理的資料集合”。這些資料包括：社交媒體、行動設備、科學計算和城市中部署的各類感測器等等，其中影像又是構成資料體量最大的一部分。據IMS Research統計，2011年全球攝影機的出貨量達到2646萬台，預計到2015年攝影機出貨量達5454萬台。2011年一天產生的影像監控資料超過1500PB,而累計歷史資料將更為龐大，在影像監控大聯網、高清化推動下，影像監控業務步入資料洪水時代不可避免。
影像監控資料有兩個方面的內涵——海量和非結構化。影像監控資料量規模龐大，並且隨著高清化、超高清化的趨勢加強，影像監控資料規模將以更快的指數級別增長；與通常講的結構化資料不同，影像監控業務產生的資料絕大多數以非結構化的資料為主，這給傳統的資料管理和使用機制帶來了極大的挑戰。
資料洪水給影像監控的困境
以飛速增長的影像監控資料，使得傳統影像監控體系架構、資料的管理方式、資料分析應用等面臨新的困境。
困境一，資料量的急劇擴大和IT投資之間的矛盾。按照IT產業的法則：在滿足客戶需求的前提之下，往往技術成本越低，其生命力往往越強。由於資料量的急速擴大，以及隨之而來的大規模計算的需求越來越多，一味採用高配硬體，使得硬體投資成為客戶不可承受之重，客戶越來越希望在滿足需求的前提下，用中低端的硬體來替換高配硬體。
困境二，海量資料和有效資料之間的矛盾。攝影機7X24小時工作，如實記錄鏡頭覆蓋範圍的發生的一切，僅僅記錄資訊是不夠的，因為對於客戶來講可能大部分資訊是無效，有效資訊可能只分佈在一個較短的時間段內，按照數學統計的說法，資訊是呈現冪律分佈的，也稱之為資訊的密度，往往越高密度的資訊對客戶價值越大。
困境三，資源利用和效率之間的矛盾，串列計算和平行計算的矛盾。影像監控業務網路化、大聯網後，網路內的設備越來越多，利用閒置的計算資源，實現資源的最大化利用，關乎運算的效率。在影像監控領域，往往影像分析的效率決定價值，更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。隨著資料量的增加，哪怕對TB級別的資料進行對影像內容的資料分析和檢索，採用串列計算的模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。影像的分析和檢索，不能依賴於傳統的手段，巨量資料的效率優化，平行計算是影像智慧分析的唯一出路。
大數據關鍵技術簡介
因為大數據帶來了很多現實中的難題，為了解決這些難題我們需要新的技術變革，需要新一代的資料庫技術，業界稱之為大數據技術。IDC 在定義大數據技術：大數據技術將被設計用於在成本可承受（economically）的條件下，通過非常快速（velocity）的採集、發現和分析，從大量化（volumes）、多類別（variety）的資料中提取價值（value），將是IT 領域新一代的技術與架構的變革。Hadoop技術正是在此背景下誕生，歷經數年的積累，Hadoop已成長為一個強大的生態系統，不但衍生出HDFS、HBase、Hive等多個子項目，成為IT領域廣泛採用的大數據模型框架。
大數據技術和影像監控業務在體系架構上的融合
“除了上帝，任何人都必須用資料來說話”，美國著名管理學家、統計學家愛德華.戴明將資料提升到了和上帝平行的高度。影像監控業務正是一個典型的資料依賴型業務，依靠資料說話。可以說，大數據與影像監控業務有著天然的結合。綜合來看，大數據與資料監控業務的結合主要體現在“存”、“看”、“用”上。
“快閃記憶體”：如果類比水庫蓄水的方式，典型的網路影像監控資料儲存模型是一個由小溪彙聚河流、再彙聚到水庫的蓄水方式。小溪數量增多、水量增大是水庫蓄水量的保證，然而傳統方式下蓄水量增大將提高水庫建造成本和蓄水安全的要求。而採用分散式蓄水模式，在河流中游建立多個中間蓄水池，不僅可以減少主水庫蓄水壓力和成本，化整為零也提高了就近用水效率。在大數據技術支撐下，網路影像監控資料儲存模型可轉向分散式的資料存儲體系，提供高效、安全、廉價的儲存方式。
“易看”：在影像監控業務中，錯看漏看、來不及看等是常見的困擾點。大數據監控圖像的回溯給許多安防監控管理人員帶來了生理與心理的雙重挑戰。在大量人力投入的公安案件追溯中，都常常耳聞“看到吐”、“看到暈”等無奈和感歎。可想而知一般零售行業、金融行業等，對於數據監控圖像的回溯就更為困難。在影像監控大數據趨勢已經來臨之際，依靠人眼去檢索、查看所有視頻圖像資料已經不太現實。通過大數據技術實現影像圖像模糊查詢、快速檢索、精準定位，讓看變得簡單迫在眉睫。
“善用”：影像監控業務中，看只是資訊採集的方式之一，用才是業務應用的根本。影像監控業務的效率問題已經成為阻礙產業發展的關鍵瓶頸。隨著影像監控攝影機覆蓋廣度、密度增大，影像圖像資料量呈指數級上升，而影像監控資料的使用效率卻在下降。智慧交通應用、消費者行為分析應用等綜合影像監控和圖像智慧分析的業務出現，正努力突破影像監控效率值及商業價值低下的瓶頸。通過大數據技術，進一步挖掘海量影像監控資料背後的價值資訊，快速回饋內涵知識輔助決策判斷是將影像監控用好、用善的金鑰匙。
面向大數據的影像監控體系架構
視頻監控業務的核心就是資料，資料就是業務本身，那麼基於大數據架構，可以給中大型的影像監控專案帶來諸多的裨益。
第一，架構更加靈活，伸縮彈性更大。對於一些中大型專案，由於起點的差異，缺乏視頻監控架構的頂層設計，後期的擴容升級難免尾大不掉，如在建設初期就引入面向大數據的架構，為業務擴張和管理帶來好處。
第二，以廉價通用硬體迎合影像監控資料的爆發性增長。 在面向大數據的架構中，可根據影像監控業務的部署需要，設立多個HDFS集群組成，採集的流資料會被劃分成段，並分佈於資料節點，這些資料節點可以採用廉價通用型的硬體，由軟體技術保證其高可靠性，這種方式避免採用傳統高端硬體的模式，大大降低投資成本。
第三，通過高速平行計算實現智慧分析和資料採擷。對於金礦來講，唯有熠熠發光的金子才是有價值，影像監控資料就猶如這樣一座金礦，傳統人工和串列的資料篩選方式已在大資料時代不能滿足要求。面向大數據的架構原理就是將海量資料分解為較小的更易訪問的批量資料，在多台伺服器上並行分析處理，從而大大加快影像資料的處理進程。
結合影像監控業務特點，引入Hadoop的架構，以頂層設計的視角來構建面向大資料視頻監控架構，將對未來影像監控業務的規劃設計產生深遠的影響。下面下面簡明扼要描述下面向大數據影像監控邏輯架構。
資料來源層，包括即時資料和非即時資料。即時資料指IP攝影機和感測器產生的即時流媒體資料。非即時資料指從DVR、編碼器、協力廠商系統導入的媒體資料。
大數據儲存層，採用了HDFS和HBASE，實現資料低成本、高可靠的管理。把採集的流影像保存在HDFS集群內，並通過HBase建立訪問的索引。把傳統NVR和專用儲存進行重構，納入到整體的分散式檔案系統中來。
大數據計算層，實現智慧分析和資料採擷。通過MapReduce把對大影像的分析進行分解，充分利用閒置資源，把計算任務交由多台伺服器進行平行計算分析，另外一方面，根據智慧分析產生的影像中繼資料，通過Hive挖掘影像中繼資料的價值資訊。
業務及管理層，實現設備和業務管理。基於Zookeeper組成的伺服器集群，可以保證業務系統的無故障運營，基於Ganglia實現對攝影機等設備的監管。
基於大數據的影像架構，本質上是把影像資料作為最有價值的資產，以資料作為核心來構建的技術架構，重點解決了海量的影像資料分散和集中式儲存並存、多級分佈問題，極大提升了非結構化影像資料讀寫的效率，為影像監控的快速檢索、智慧分析提供了端到端的解決方案。
大數據影像監控構架帶來的價值
大數據影像架構是革命性的技術，特別在即時智慧分析和資料採擷方面，讓影像監控從人工抽檢，進步到高效事前預警、事後分析，實現智慧化的資訊分析、預測，為影像監控領域業務帶來深刻的變革：
平安城市領域，即時匯總並綜合分析各種公共安全資料和資料，為執法人員快速準確應對提供科學依據：如實時調閱現場視頻錄影、犯罪嫌疑人記錄、同一地區的相似案件資料；進行地理、時間和空間的比較分析，揭示其犯罪模式和行為模式；追蹤嫌疑人與其車輛的位置等。指揮人員也可以參照各種資料對不同來源的資料進行綜合分析，製作指揮圖。
智慧交通行業，可以輕鬆監控攝影覆蓋範圍內的所有車輛的行駛狀態、運行軌跡，快速分析出其是否違章，通過對海量交通資料的比對、分析和研判，實現指定車輛行駛路徑、道路擁堵研判等功能。
雲服務領域：實現基於大數據的影像監控雲服務，讓攝影機僅通過互連網就能連接雲端的視頻監控託管服務，通過快速、智慧的分析部署在雲端的大數據，為小型企業、零售商店、餐館酒店等提供即時監控影像和潛在風險管理，甚至能提供收費的基於影像內容的分析報告，如日常的客戶數，平均佇列長度等，創造新的商業模式。
0 comments:
張貼留言