‧ 雲端儲存技術在安防行業的發展與應用

來源:CPS中安網 作者:王冠

安防產業的蓬勃發展離不開對海量視頻和圖片資料的深入挖掘和分析。早期的儲存僅僅是將資料進行儲存，經過這些年的發展，已經注重從資料中獲取真實需要的關鍵資訊，並已成為具體的業務提供支撐。雲端儲存不但在滿足海量資料儲存需求上契合了安防行業的發展趨勢，同時在應用性和專業化程度上也逐漸發展和深化。那麼，帶有行業屬性的雲端儲存系統的出現就是一個必然的過程。

 
雲端儲存技術在安防行業的發展與應用
 

一、前述 

　　隨著視頻監控系統規模不斷擴大，以及高清視頻的大規模應用，對視頻監控系統中需要儲存的資料和應用的複雜程度在不斷提高，且視頻資料需要長時間持續地保存到儲存系統中，並要求隨時可以調用，對儲存系統的可靠性和性能等方面都提出了新的要求。在未來的複雜系統中，資料將呈現爆炸性的海量增長，提供對海量資料的快速儲存及檢索技術，顯得尤為重要，儲存系統正在成為視頻監控技術未來發展的決定性因素。
 

 
雲端儲存的儲存服務流程
 

　　面對百PB級的海量儲存需求，傳統的SAN或NAS在容量和性能的擴展上會存在瓶頸。而雲端儲存可以突破這些性能瓶頸，實現性能與容量的線性擴展，這對於追求高性能、高可用性的企業用戶來說是一個新選擇。

　　雲端儲存是近年來在儲存領域興起的一種新技術，雲端儲存顧名思義是將複雜的儲存功能實現封閉在雲端，通過一種簡單的方式為使用者提供優質的儲存服務。具體過程是雲端儲存通過軟體將系統內大量不同類型的存放裝置管理起來，運用虛擬化技術、集群化技術、離散儲存技術、分散式資料庫等對系統內的設備資源、儲存容量資源進行專業化整合為使用者提供大容量、高性能的透明儲存服務。

二、雲端儲存系統的設計原則 

　　雲端儲存系統的設計原則應該採用業務控制和業務資料分離的設計思路。在儲存模式上新增加中繼資料管理節點專伺于系統的資源管理、任務調度和運行維護，中繼資料管理節點不具體執行寫入、讀取等業務操作，而將這部分功能交給儲存服務節點負責。雲端儲存的整體設計形成一種松耦合非對稱系統架構，在實際的運行過程當中該架構能夠使系統提供靈活多變的業務擴展屬性和持續穩定的性能增長。在硬體設備規模和儲存容量不斷擴大的情況下系統性能能夠與儲存容量保持線性增長，這種屬性也為雲端儲存基礎上的雲服務擴展奠定了基礎。

　　採用松耦合非對稱系統架構的雲端儲存系統在具體軟體設計的層次上可以如圖劃分為以下五個層次：

雲端儲存技術在安防行業的發展與應用

─設備層 

　　設備層是雲端儲存最基礎、最底層的部分。在系統組成中，存放裝置可以是標準SAN架構下的FC光纖通道存放裝置或iSCSI協定下的IP存放裝置，這些存放裝置構成雲端儲存的存儲資源基礎。

─存儲層 

　　存儲層含有雲端儲存流式檔案系統和虛擬化資源系統。通過雲端儲存流式檔案系統和虛擬化資源系統，實現儲存傳輸協定和標準存放裝置之間的資料邏輯結構或磁碟陣列的映射。存儲層另一類重要功能就是具體實現資料（視頻、圖片、附屬流）和設備層存放裝置之間的通信連接，完成資料的高效寫入、讀取和調用等服務。

─管理層 

　　在管理層融合了多種核心的管理功能。負責實現存放裝置的邏輯虛擬化管理、多鏈路冗餘管理、錄影計畫的主動下發，以及硬體設備的狀態監控和故障維護等；儲存業務回應，以及儲存資源調配也由管理層負責。

─介面層 

　　應用介面層是雲端儲存最靈活多變的部分，介面層面向使用者應用提供完善以及統一的訪問介面，介面類別型可以是Web Service介面、API介面、Mibs介面，可以根據實際業務類型，開發不同的應用服務介面，提供不同的應用服務。實現與外部系統之間的對接。

─應用層 

　　從邏輯上劃分，除了應用層外，剩下的四層都屬於通常雲端儲存的範疇，但是在視頻雲存儲系統中，為了與視頻監控系統的建設和應用更加緊密的結合，更加符合用戶的業務需求，將應用層納入了整個系統架構中，從根本上提高視頻雲端儲存系統的針對性。

三、雲端儲存系統的核心技術

　　安防產業的蓬勃發展離不開對海量視頻和圖片資料的深入挖掘和分析。早期的儲存僅僅是將資料進行存儲，經過這些年的發展，已經注重從資料中獲取真實需要的關鍵資訊，並已成為具體的業務提供支撐。雲端儲存不但在滿足海量資料儲存需求上契合了安防行業的發展趨勢，同時在應用性和專業化程度上也逐漸發展和深化。那麼，帶有行業屬性的雲端儲存系統的出現就是一個必然的過程。
 

 
雲端儲存技術在安防行業的發展與應用

　　安防行業與互聯網行業應用有著明顯的差別。在互聯網應用中有著數以億計的用戶，這些用戶分佈在世界各地而且應用需求也千差萬別。互聯網使用者產生的資料總量雖然非常龐大，但是資料資訊類型卻也非常複雜，單個資料檔案大小相對較小。

　　安防監控領域的視頻資料則具有非常明顯的特徵，其資料流程依照時間順序持續產生，並且資料量非常龐大。隨著高清和超高清攝像機的不斷加入，資料量的爆炸性增長可想而知。這類長時間、大流量的資料在進行儲存時對傳統的檔案系統產生了非常大的壓力，傳統的檔案系統在資料的儲存上很少考慮到資料連續性問題，在磁碟空間的利用率上也盡可能地將資料的儲存細微性降低以滿足P2P式的檔下載訪問需求。而這這種方式對視頻流資料則極為不利，系統在從儲存中提取資料後，需要耗費大量資源對資料按照時間順序進行重組，而且為了提取某段長時間的視頻資料磁片定址延時，和等待延時會幾何級數地增長，照成視頻資料提取和分析時間過長，阻礙了安防監控應用的發展。

　　作為安防監控領域的雲端儲存系統，如果不改變這種結構化資料的儲存思路，那麼將是無法支撐雲計算，以及大資料智慧分析發展需要的。作為安防監控領域的雲端儲存首先面臨的就是對檔案系統的改造，針對視頻資料的特點，在資料持續寫入時需要強關聯其時間屬性，同時優化磁片的儲存空間，合理安排資料的儲存資源配置。在對檔案系統進行全面優化後形成一套適合視頻資料儲存和讀取的具有流式資料特點的雲端儲存檔案系統，也稱為流式檔案系統。

　　此外虛擬化技術的應用也是衡量一套存儲系統是否成為真正意義上的雲端儲存的一個重要標誌。虛擬化技術分為兩個方面來探討，最基礎的技術要求是對雲端儲存系統內所有存儲資源的整合。傳統的NVR或者CVR堆疊模式雖然在發展的過程中有許多廠家也注意到了對資源的統一管理工作，但是其管理的細微性仍然是以單個存放裝置作為基礎的，這種程度的整合會導致系統的控制細微性過大、儲存資源利用率偏低。而真正意義上的虛擬化整合則需要更加的細化，雲端儲存在管理儲存資源時，需要能控制到存放裝置上的最基礎儲存單元，因此通過對最基礎儲存單元的整合作為虛擬化的一個重要指標。對中繼資料管理伺服器來說只有看得清楚、管得細緻，了才能做到對儲存資源的合理利用和優化整合。

　　虛擬化的另一個重要特徵就是具體實現完全透明。在虛擬化技術對儲存資源進行整合之後對於上層系統而言應該呈現出一個完整的、唯一的儲存資源池。儲存資源池具有統一化、靈活性、可再分割、再調整的功能屬性，而且這部分功能屬性的具體實現是完全遮罩在虛擬化系統內部的，不需要再有其他系統或者操作者進行干預。使用者所見到的僅僅是一個超大的儲存資源池，他可以根據具體業務儲存的需要，從儲存資源池中取出一部分空間用於某些視頻資料的儲存。使用者無需關心視頻資料究竟是存放在雲端儲存系統中的哪台儲存主機的哪個磁片上，具體的儲存空間分配由虛擬化系統執行完成。同時使用者也不必擔心資料的安全性問題，因為當使用者改變儲存策略、調整空間大小時虛擬化技術會自行對資料進行備份、遷移、覆蓋。所有這些具體的執行對使用者都是透明的，使用者的精力可以完全集中在對自身業務的管理上來。

　　集群化技術是除了虛擬化技術以外衡量雲端儲存系統成熟度的另一個重要標誌。在討論雲端儲存系統架構的時候我們探討了系統採用松耦合非對稱架構的必要性，在系統中衍生出中繼資料管理節點的同時，我們對其可靠性、穩定性、以及性能的要求隨著雲端儲存系統的不斷膨脹也越來越高。單一節點或者雙機HA模式在中小型的安防監控項目中還可以勉強勝任，一旦系統規模擴大其中繼資料管理節點的壓力就會不斷加強，其性能瓶頸直接會導致雲端儲存系統可用度降低，甚至影響雲端儲存系統的正常運行。集群化技術在雲端儲存系統中的應用將能夠很好的解決這些問題。中繼資料管理集群改變過去單兵作戰的方式，採用成建制的集團軍協同作戰將各個中繼資料管理節點的系統性能形成合力共同為雲端儲存服務。創建中繼資料管理集群需要專門開發用於集群元件的軟體，集群軟體的作用就是維持各個節點間的通信順暢，並按照負責均衡的原則將大量待處理業務資訊分派給具體的中繼資料管理節點來執行。多台中繼資料管理節點通過集群軟體保持高度的統一性和可協調性，管理資訊和監控資訊資料在各個節點間的分散式資料庫間同步，所有節點都具有獨立完成業務處理工作的能力並保持集群的ALL  ACTIVE的狀態。這樣雲存儲系統的處理性能將不再受單一節點限制，當雲端儲存需要擴容和提升系統性能時可以繼續增加集群的中繼資料管理節點數目，以保持業務性能的線性增長。

　　集群化技術的另一個優勢就是提供了更高的可靠性。傳統HA熱備的雙機模式為了提高可靠性實際是以一台伺服器的資源浪費作為代價的，備機不參與任何業務處理，僅是等待主機故障後替換而已。而集群模式的優勢在於集群中所有節點都是可以參與業務處理工作的，其中的一台或者幾台伺服器節點出現故障，集群軟體可以很快發現問題並協調集群中的其它仍然運行良好的伺服器節點接替故障機的工作，集群軟體而言這只不過是簡單地進行一次業務負載均衡調整和業務分配而已。

　　集群化的這些優點除了在中繼資料管理節點群化外，對於數量龐大的存儲節點依然適用。因為在雲端儲存系統中資源的調度，業務的分派都是由中繼資料管理集群完成，存儲節點僅需要保證儲存業務的具體執行。通過對資料儲存業務執行的合理分配，完全可以做到將過去各自為政的儲存節點資源統一進行調配，發揮其最大的效率。同時倘若部分儲存節點出現故障，中繼資料管理集群也能自動將資料儲存業務調整到其他運行正常的存儲節點上以滿足高要求的N（中繼資料管理節點）+M（儲存節點）集群可靠性。

　　雲端儲存的發展不僅僅需要考慮自身儲存業務的需要，更重要的是需要考慮雲端運算、智慧分析對大資料提取的性能需求。因此雲存儲系統的資料輸送量就顯得尤為重要，傳統儲存方案中某路視頻流儲存時基本是以存放裝置為單位，那麼在資料從單一的存放裝置上提取時就是一個串列的過程，當提取量增大整個過程耗時就會非常嚴重。雲端儲存系統就必須改變這一模式，現在較為先進的做法是儲存時盡可能將某路視頻資料到分散不同的存放裝置上，而當需要提取資料時多台存放裝置併發推送資料以形成系統級的高併發輸送量。資料的分散細微性越大，提取時的速度就可能越快，然而如果分散過於淩亂則對資料的管理又增加了額外的系統開銷。

四、雲端儲存在安防行業創新和發展 

　　近年來，安防行業不斷向著IT化、應用化、智慧化的模式深入發展，大力興建城市級的安防監控和深化應用平臺。安防領域已經不僅僅停留在簡單的監控、儲存階段，雲端安防的理念迎合了目前對於安防資訊內容的重視，而雲端運算、雲端儲存則是實現內容為王，智慧分析的基礎。

　　技術的發展離不開行業的應用需求，雲端儲存在安防行業的創新也要緊貼著安防行業的特點來完成。雲端儲存技術的發展如果不緊貼安防行業的特點，不顧及視頻資料與檔資料的本質區別，簡單將用於檔儲存的雲端儲存系統移植到安防監控領域中將會嚴重影響到雲安防的整體性能。安防行業最重要的資料形式就是視頻流資料，流式資料與檔資料有著很大的差別，那麼對流式資料的存儲上就迫切需要一種適合視頻流高速儲存、查詢、讀取的技術。提高雲端儲存性能的方法很多，包括前文提高的虛擬化、集群化、離散儲存與併發提取外，流式檔案系統的出現就是一種對雲端儲存行業化的典型創新和探索。

　　雲端運算是雲端安防的靈魂，而雲端儲存則是雲計算最大的支撐。雲端儲存的發展也必須貼與雲計算在安防監控領域的應用緊密配合。在雲端運計算中除了談論雲端計算的架構、典型技術等等，其滿足應用需求時採用的不同策略也是非常值得關注的，例如雲計算的前分析、即時分析、後分析等等。對於這些分析模式，雲端儲存提供的基礎資料起著非常重要的作用，最優化的一種方式就是雲端儲存對資料存儲的基礎資料單元與雲計算處理時調用的基礎資料單元在格式、大小、標準上保持一致。這樣做優勢不言而喻，就是減少雲計算的複雜度和對系統資源的消耗。

　　作為雲端儲存在安防監控行業應用的本身而言，針對例如視頻、圖片、附屬資訊的一些基本功能將常用的應用內嵌在雲端儲存系統內部，這也是提高安防雲應用效率的一個非常有效的方式。

　　在安防市場中對雲端儲存需求最為迫切，也最可能率先採用雲端儲存技術運用於自身系統的就是公安行業。隨著經濟建設和各項社會事業等快速發展，城市的公共安全面臨著更大的挑戰。

　　隨著雲端儲存技術的不斷發展和完善，在雲端儲存為安防行業定制開發的思想指導下，雲安防這一看似朦朧、飄渺的構想將逐漸豐滿、現實。想必在科技日新月異的今天，我們很快就能感受到雲端儲存給整個安防行業帶來的蓬勃生機。【來源單位：海康威視】