2013年11月27日 星期三

‧ 雲儲存技術在安防行業的發展與應用

來源:CPS中安網 作者:王冠
                                                      
安防產業的蓬勃發展離不開對海量視頻和圖片資料的深入挖掘和分析。早期的儲存僅僅是將資料進行儲存,經過這些年的發展,已經注重從資料中獲取真實需要的關鍵資訊,並已成為具體的業務提供支撐。雲儲存不但在滿足海量資料儲存需求上契合了安防行業的發展趨勢,同時在應用性和專業化程度上也逐漸發展和深化。那麼,帶有行業屬性的雲儲存系統的出現就是一個必然的過程。
雲儲存技術在安防行業的發展與應用

隨著影像監控系統規模不斷擴大,以及高清影像的大規模應用,對影像監控系統中需要儲存的資料和應用的複雜程度在不斷提高,且影像資料需要長時間持續地保存到儲存系統中,並要求隨時可以調用,對儲存系統的可靠性和性能等方面都提出了新的要求。在未來的複雜系統中,資料將呈現爆炸性的海量增長,提供對海量資料的快速儲存及檢索技術,顯得尤為重要,儲存系統正在成為影像監控技術未來發展的決定性因素。
  
 
面對百PB級的海量儲存需求,傳統的SANNAS在容量和性能的擴展上會存在瓶頸。而雲儲存可以突破這些性能瓶頸,實現性能與容量的線性擴展,這對於追求高性能、高可用性的企業用戶來說是一個新選擇。

雲儲存是近年來在儲存領域興起的一種新技術,雲儲存顧名思義是將複雜的儲存功能實現封閉在雲端,通過一種簡單的方式為使用者提供優質的儲存服務。具體過程是雲儲存通過軟體將系統內大量不同類型的儲存設備管理起來,運用虛擬化技術、集群化技術、離散存儲技術、分散式資料庫等對系統內的設備資源、儲存容量資源進行專業化整合為使用者提供大容量、高性能的透明儲存服務。 
 
雲儲存的儲存服務流程

雲儲存系統的設計原則
雲儲存系統的設計原則應該採用業務控制和業務資料分離的設計思路。在儲存模式上新增加中繼資料管理節點專伺於系統的資源管理、任務調度和運行維護,中繼資料管理節點不具體執行寫入、讀取等業務操作,而將這部分功能交給儲存服務節點負責。雲儲存的整體設計形成一種松耦合非對稱系統架構,在實際的運行過程當中, 該架構能夠使系統提供靈活多變的業務擴展屬性和持續穩定的性能增長。在硬體設備規模和儲存容量不斷擴大的情況下系統性能能夠與存儲容量保持線性增長,這種屬性也為雲儲存基礎上的雲服務擴展奠定了基礎。

  
採用松耦合非對稱系統架構的雲儲存系統, 在具體軟體設計的層次上可以如圖劃分為以下五個層次:
-設備層
設備層是雲儲存最基礎、最底層的部分。在系統組成中,儲存設備可以是標準SAN架構下的FC光纖通道儲存設備或iSCSI協定下的IP儲存設備,這些儲存設備構成雲儲存的儲存資源基礎。

-儲存層 
儲存層含有雲儲存流式檔案系統和虛擬化資源系統。通過雲儲存流式檔案系統和虛擬化資源系統,實現儲存傳輸協定和標準儲存設備之間的資料邏輯結構, 或磁碟陣列的映射。儲存層另一類重要功能就是具體實現資料(視頻、圖片、附屬流)和設備層儲存設備之間的通信連接,完成資料的高效寫入、讀取和調用等服務。

-管理層 
在管理層融合了多種核心的管理功能。負責實現儲存設備的邏輯虛擬化管理、多鏈路冗餘管理、錄影計畫的主動下發,以及硬體設備的狀態監控和故障維護等;儲存業務回應,以及儲存資源調配也由管理層負責。

-介面層 
應用介面層是雲儲存最靈活多變的部分,介面層面向使用者應用提供完善以及統一的訪問介面,介面類別型可以是Web Service介面、API介面、Mibs介面,可以根據實際業務類型,開發不同的應用服務介面,提供不同的應用服務。實現與外部系統之間的對接。

-應用層 
從邏輯上劃分,除了應用層外,剩下的四層都屬於通常雲儲存的範疇,但是在視頻雲儲存系統中,為了與影像監控系統的建設和應用更加緊密的結合,更加符合用戶的業務需求,將應用層納入了整個系統架構中,從根本上提高影像雲儲存系統的針對性。
 
雲儲存技術在安防行業的發展與應用

雲儲存系統的核心技術 
安防產業的蓬勃發展, 離不開對海量影像和圖片資料的深入挖掘和分析。早期的儲存僅僅是將資料進行存儲,經過這些年的發展,已經注重從資料中獲取真實需要的關鍵資訊,並已成為具體的業務提供支撐。雲儲存不但在滿足海量資料儲存需求上契合了安防行業的發展趨勢,同時在應用性和專業化程度上也逐漸發展和深化。那麼,帶有行業屬性的雲儲存系統的出現就是一個必然的過程。
  
安防監控領域的影像資料則具有非常明顯的特徵,其資料流程依照時間順序持續產生,並且資料量非常龐大。隨著高清和超高清攝影機的不斷加入,資料量的爆炸性增長可想而知。這類長時間、大流量的資料在進行儲存時, 對傳統的檔案系統產生了非常大的壓力,傳統的檔案系統在資料的儲存上很少考慮到資料連續性問題,在磁碟空間的利用率上也盡可能地將資料的儲存力度降低, 以滿足P2P式的檔下載訪問需求。而這這種方式對影像流資料則極為不利,系統在從儲存中提取資料後需要耗費大量資源, 對資料按照時間順序進行重組,而且為了提取某段長時間的影像資料, 磁片定址延時和等待延時會幾何級數地增長,造成影像資料提取和分析時間過長,阻礙了安防監控應用的發展。
  
作為安防監控領域的雲儲存系統,如果不改變這種結構化資料的儲存思路,那麼將是無法支撐雲計算以及大資料智慧分析發展需要的。作為安防監控領域的雲儲存首先面臨的就是對檔案系統的改造,針對影像資料的特點,在資料持續寫入時需要強關聯其時間屬性,同時優化磁片的儲存空間,合理安排資料的儲存資源配置。
   
使用者無需關心影像資料, 究竟是存放在雲儲存系統中的哪台儲存主機的哪個磁片上,具體的儲存空間分配由虛擬化系統執行完成。同時使用者也不必擔心資料的安全性問題,因為當使用者改變儲存策略、調整空間大小時虛擬化技術會自行對資料進行備份、遷移、覆蓋。所有這些具體的執行對使用者都是透明的,使用者的精力可以完全集中在對自身業務的管理上來。

雲儲存的發展不僅僅需要考慮自身儲存業務的需要,更重要的是需要考慮雲計算、智慧分析對大資料提取的性能需求。因此雲儲存系統的資料輸送量就顯得尤為重要,傳統儲存方案中某路影像流儲存時, 基本是以儲存設備為單位,那麼在資料從單一的儲存設備上提取時就是一個串列的過程,當提取量增大整個過程耗時就會非常嚴重。
 
雲儲存技術在安防行業的發展與應用
雲儲存系統就必須改變這一模式,現在較為先進的做法是儲存時盡可能將某路影像資料到分散不同的儲存設備上,而當需要提取資料時多台儲存設備, 併發推送資料以形成系統級的高併發輸送量。資料的分散力度越大,提取時的速度就可能越快,然而如果分散過於淩亂則對資料的管理又增加了額外的系統開銷。

雲儲存在安防行業創新和發展  
安防領域已經不僅僅停留在簡單的監控、儲存階段,雲安防的理念迎合了目前對於安防資訊內容的重視,而雲計算、雲儲存是實現內容為王,智慧分析的基礎。 

安防行業最重要的資料形式就是影像流資料,流式資料與檔資料有著很大的差別,那麼對流式資料的儲存上, 就迫切需要一種適合影像流高速儲存、查詢、讀取的技術。提高雲儲存性能的方法很多,包括前文提高的虛擬化、集群化、離散儲存與併發提取外,流式檔案系統的出現就, 是一種對雲儲存行業化的典型創新和探索。

沒有留言:

張貼留言