來源:CPS中安網 作者:程嶽寅
作為雲時代海量資料的來源之一，安防影像監控行業隨著智慧城市和智慧交通的快速發展、行動互聯設備的快速激增，產生了海量的非結構化視音訊資料，帶動了大資料的儲存、管理、分析等應用。面向雲時代，業界同仁一擁而上、熱血沸騰，無論是IT供應商、儲存廠商、還是解決方案提供商都不甘落後，雨後春筍般的紛紛提出基於計算、存儲、網路等多層次虛擬化的資料中心解決方案，投入大量資源，推出雲儲存、雲計算等系統產品。
面對大資料，影像監控行業面臨哪些難題?我們如何應用雲計算、大資料相關技術來獲取資料背後隱含的資訊?未來的挑戰和前景如何?我將從以上幾方面發表個人觀點，意在抛磚引玉、引發業界同仁在產業發展的進一步思考和討論。
一. 影像監控儲存及智慧分析系統中的難題
根據IDC預測，全球在2010年已正式進入ZB時代，全球資料量大約每兩年翻一番，意味著人類在最近兩年產生的資料量相當於之前產生的全部資料量。爆炸式增長的資料，正推動人類進入大資料的時代。
大資料包括社交媒體、行動設備、科學計算和城市中部署的各類感測器資訊，其中影像是構成資料體量最大的組成部分。據IMS Research統計，2011年全球攝影機的出貨量達到2646萬台，預計到2015年攝像頭出貨量達5454萬台。一天產生的影像監控資料超過1500PB,而累計歷史資料將更為龐大，在影像監控大聯網、高清化推動下，影像監控業務將面臨海量非結構化資料儲存、資料共用、資料安全及資料利用四大難題。
(1)海量非結構化資料儲存
安防行業的大資料目前主要來源於智慧城市和智慧交通等大型安防項目。例如，2011年全球兩天的資料就高達1.8ZB，相當於文明起始到21世紀初全部的資料總和；2013年中國某一線城市一個季度產生的資料總量也在200PB。
當前，智慧城市建設已成為地方政府推進城鎮化發展的重要途徑，而隨著智慧城市的發展，對高清攝影機和智慧化監控設備的需求會持續增長，智慧交通行業將成為中國十二五政府投資的重點領域，這將使未來幾年影像監控行業仍保持高景氣度。
此外隨著智能家居、民用安防的普及，更多的使用者會通過移動設備監看影像，於此同時會有更多的行動互聯資料產生。2012年中國就擁有3.88億行動互聯網用戶，預計2015年互聯設備將達到150億，2020年互聯設備將達到2000億。資料10倍速的增長，在帶來巨大機遇的同時，也帶來了很大的挑戰。
按照IT產業的法則：在滿足客戶需求的前提之下，往往技術成本越低，其生命力往往越強。由於資料量的急速擴大，以及隨之而來的大規模計算的需求越來越多，一味採用高配硬體，使得硬體投資成為客戶不可承受之重。如何在滿足需求的前提下，刪除重復資料、降低硬體成本投資將成為海量非結構化資料儲存的一個難題。
(2)資料共用
大資料需要通過快速的採集、發現和分析，從大量化、多類別的資料中提取價值。安防大資料時代最顯著的特徵就是海量和非結構化資料共用，用以提高資料處理能力。比如天網工程和智慧交通就是最具代表性的案例，天網工程一般分為省市縣鄉鎮等多級架構，智慧交通圖像也分佈在前端卡口、區節點、市省國家級中心中，海量資料儲存在不同節點、不同設備中，這給傳統的資料管理和使用機制帶來了極大的挑戰。
與科學計算、互聯網相比，影像監控的大資料處理難度尤大，首先，影像錄影是更原始的非文本非結構化的資料，必須經過複雜繁重的分析處理，才能提取出文本結構化的資料進行下一步處理；其次影像錄影相對其它形式資料的容量要大幾個數量級，對傳輸、儲存和計算的頻寬要求大。因此我們說資料高效共用是第二大難題。
(3)資料安全
智慧城市的建設促使安防雲儲存技術的應用，智慧城市一大要求就是將影像儲存資料相互之間進行聯動、共用，例如在犯罪追蹤時，公安、交通、民用行業等多範圍的儲存資料能夠共用，而這種共用具備了雲儲存的特性;傳統的存儲技術無法滿足社會發展需求，雲儲存的在安防領域的應用成為必然。
安防影像監控資料具有私密性高、保密性強的特點，不僅是事後追查的依據、而且更是後續資料分析挖掘的基礎。因此我們說資料安全一方面是指不受到外界資料的入侵和非法獲取、另一方面是指龐大系統的魯棒性、體系容錯機制，確保硬體軟體發生故障時，資料仍然可以恢復、得以保存。面對海量資料的儲存、共用，硬體和軟體設備承載了極大的風險，因此我們如何構建大型、海量影像監控儲存系統、資料分析系統以及容錯冗餘機制是第三大難題。
(4)資料利用
攝影機7X24小時工作，如實記錄鏡頭覆蓋範圍的發生的一切，僅僅記錄資訊是不夠的，因為對於客戶來講可能大部分資訊是無效。資料的有效性分為兩個方面，一方面有效資訊可能只分佈在一個較短的時間段內，按照數學統計的說法，資訊是呈現冪律分佈的，也稱為資訊的密度，往往越高密度的資訊對客戶價值越大;另一方面是指深層次挖掘龐大的海量資料，關聯得出有效資訊。
影像監控業務網路化、大聯網後，網路內的設備越來越多，利用閒置的計算資源，實現資源的最大化利用，關乎運算的效率。在影像監控領域，往往影像分析的效率決定價值，更低的延遲、更準確的分析往往是平安城市這類客戶的普遍需求。
隨著資料量的增加，哪怕對TB級別的資料進行對影像內容的資料分析和檢索，採用串列計算的模式都可能需要花費數小時的計算，已遠遠不能勝任時效性的需求。視頻的分析和檢索，不能依賴於傳統的手段，巨量資料的效率優化，平行計算也許是解決問題的辦法。
二.雲計算及大資料對影像監控帶來的變化
大資料概念最早出現在20世紀60年代初，隨著網路的快速建設和資訊技術的迅猛發展，到20世紀90年代中後期，資料中心的建設規模和伺服器數量每年都以驚人的速度增長。隨著資訊中心、服務中心、資料中心等各類業務應用及資料量的不斷增長，資料倉庫、資料採擷、連線分析等技術發展，資料儲存容量的需求也成正比的增長。
我認為雲計算、雲儲存和大資料將對影像監控行業帶來儲存架構、虛擬化、安全和高效處理四個方面的變化。首先，大資料呈現出的典型特徵是4個V：規模(volume)、速度(velocity)、類型多(variety)、價值密度低(veracity)。大資料的特徵對儲存容量的總體擁有量需求激增，海量儲存模式也從傳統的集中儲存式架構，發展到分散式儲存架構，這種分散式架構，在多副本、網路RAID技術、快照技術驅動下，實現海量儲存的高可靠、大併發能力，推進了儲存從設備供應模式到服務模式的升級和轉變。
其次，虛擬化技術在儲存服務能力建設上將繼續不斷發展，升級模式從SCALE-UP向SCALE-OUT模式發展，為無處不在的儲存資源的調度與管理、儲存資源的線上擴容升級、資料持續保護、儲存服務不間斷等實現有力的支撐。
虛擬化，一方面大大簡化應用環節，節省客戶建設成本，同時提供更強的儲存和共用功能;另一方面解決了儲存空間的浪費，可以自動重新分配資料，提高了儲存空間的利用率，同時具備負載均衡、故障冗餘功能。
再次，安全方面即時計算和儲存，對存放裝置性能、儲存網路性能、儲存資源配置簡化性要求越來越高。在複雜的儲存服務中，基於虛擬化所構建的混合儲存系統，系統的自動分層儲存能力尤為重要。伴隨快閃記憶體的成本不斷降低的市場，市場上也有基於全快閃記憶體陣列產品的出現，基於虛擬化下的儲存資源自動化分層，實現資料分層儲存，並遷移的策略，對大資料即時性、安全性更加不可或缺。
最後，面對結構化資料、非結構化資料、半結構化等中繼資料的處理機制，雲儲存管理可以實現自動化和智慧化，所有的儲存資源被整合到一起，客戶看到的是單一儲存空間，提高了儲存效率；雲儲存能夠實現規模效應和彈性擴展，降低運營成本，避免資源浪費。
受限於安防影像監控自身業務的特點，監控雲儲存和現有互聯網雲計算模型會有區別，如安防使用者傾向於影像資訊儲存在本地、政府影像監控應用比較敏感、影像資訊的隱私問題、影像監控對網路頻寬消耗較大等問題。海量資料儲存的檢索、目錄服務、去重化都將在以大資料牽動的儲存應用中，給儲存產業帶來新的發展機遇。
三.應用及推廣過程中的挑戰
雲計算和大資料在應用和推廣過程中仍然會面臨一系列技術難關的攻克和體系的建立。比如影像監控行業中最為關注的：
影像濃縮檢索技術，主要是利用影像處理(包括影像濃縮、摘要、復原等)、模式辨識、海量資料分類儲存以及搜索等技術，對海量的儲存錄影等原始資訊進行分析和挖掘，對於目標特徵、目標行為、目標間關聯關係這三大類資訊內容，形成各種分類的特徵資訊庫、中繼資料和索引等，並提供統一接口供外部應用進行搜索，以期通過有限的線索，達到案件快速關聯和定位。
影像圖像資訊庫建設，目前應用比較廣泛的是卡口和電警的應用。由於車牌辨識技術的日趨成熟，通過車牌、車牌顏色、車身、車身顏色、車輛類型等特徵辨識，把車輛圖片、車輛資訊、車主資訊、盜搶車輛庫等結合起來，可以有效的進行車輛的查找、布控和案件線索搜索。
海量資料的處理、分析、檢索和影像智慧分析技術，把海量的影像資料進行濃縮、提取特徵摘要、減少了儲存空間。如1小時的影像錄影，通過特徵值方式的影像濃縮，可以把錄影壓縮到10分鐘左右。
同時，影像圖像資訊庫有別於傳統的關聯式資料庫模型，針對結構化，半結構化和非結構化資料，通過資料的多個副本分散式保存方式，可以有效節約儲存空間，關鍵資料的二次備份，使系統架構更加穩定和可擴展，並且提供安全的負載均衡和容錯機制。
四.前景展望
雲計算和大資料應用未來勢必對安防行業有深刻的改變和影響。尤其在智慧城市行業和交通行業。交通方面海量資料處理需求，智慧交通管理系統可以在海量資料、惡劣網路環境和複雜業務處理情況下，實現大量圖片、車輛資料、影像資料的時時網路傳輸和快速持久化儲存，同時對任意網站的圖像進行顯示，對任意網站的視頻進行流暢播放、即時進行比對報警，快速進行多條件檢索，並且將各類多媒體資料和車輛資料合二為一。
系統實現對目前的城市道路交通中異常行為的智慧辨識和自動報警等，從而減輕了交通監控人員的工作負擔，提高了監測的準確度，使得交通管理工作更高效。即時交通狀況分析可通過影像即時分析道路交通流量，然後綜合分析統計出全城市的交通狀況;套牌分析可通過視頻進行車牌辨識，按照一定的規則(如最近時間內一定距離以外)在全城市中檢索相同車牌的汽車。
智慧城市方面治安執法部門可以利用相關技術進行犯罪嫌疑人追查，可通過輸入嫌疑人照片進行人臉特徵辨識，並在所有影像中尋找該人臉；犯罪嫌疑車輛追查可輸入嫌疑車的照片或顏色車型等相關特徵在所有視頻中尋找;人車物的軌跡分析即在所有影像中按照特徵查找指定的人車物並繪製其時空軌跡；車輛的首次入城分析等等。
高清化、網路化和智慧化的安防行業在新的紀元中，雖然會面臨這樣那樣的問題，但是我相信隨著雲計算和大資料應用技術的成熟和完善，行業勢必會更快速的發展。雲時代的到來已為我們指明了方向，雲計算和大資料技術就像是打開未知世界之門的鑰匙，讓我們可以更加經濟的進行系統建設，更加高效的進行資料分析，更加有力的推動社會的進步和發展。
0 comments:
張貼留言