2016年6月20日 星期一

‧ 雲端儲存新技術的發展和應用

來源:C114通信網 作者:王冠

起初,雲端儲存作為在儲存領域興起的一種新技術,將複雜的儲存架構和組織管理封裝在系統內部,而對上層系統提供統一、靈活、安全的「雲端儲存服務」,由此將儲存建設從系統建設上升到服務建設,對於儲存的關注也達到空前的高度。然而隨著需求的不斷加深,以及對「服務」定義的多元化,雲端儲存技術也如落入平靜湖面的石子,激蕩出一層又一層的波瀾。

 

一、雲端儲存的現狀與創新

在安防行業中,儲存的存在形式較為多樣,傳統如DVR/NVRSANNAS等。各種儲存方案的存在均滿足於安防行業特定場景變化的需要,和受力於市場作用的結果。雲端儲存技術作為儲存技術中的一項重大革新,在安防行業中的多項場景應用中填補了空白,同時隨著技術創新的不斷深化,在傳統建設領域上的應用上也出現的雲端儲存的身影。

 
  
在滿足小型影像監控的需求時,用戶通常會傾向於DVR或者NVR,當規模再大一些時會使用SAN或者NAS儲存方案。而隨著規模的不斷加大,龐大儲存系統的整合、資源利用率的提升、儲存服務獲取和管理的便利性等方面傳統儲存方式的弊端也非常明顯,而雲端儲存的產品化應用無疑是行業中的亮點。

隨著雲端儲存技術的發展創新,以及對多種用戶場景的兼顧和調整。雲端儲存的創新方向有以下3個方面:
  1雲端儲存安防化發展與創新;
  2雲端儲存小型化發展與創新;
  3雲端儲存安防民用化的發展與創新
  
不同發展方向指向不同用戶場景需要,雲端儲存技術無論如何演進,以用戶為中心的理念從未改變。

  

二、雲端儲存安防化發展與創新
雖然明確運用雲端儲存技術作為主流儲存技術,應用於安防行業的共識並未改變,然而通用雲端儲存在具體業務使用時,卻忽視了與安防行業的整合。因此迫切需要通過雲端儲存技術與安防具體業務進行整合、優化、創新,可提升整體業務的耦合度,優化儲存流程,降低環節消耗。具體雲端儲存安防化的思路下可以從以下幾個方案進行優化。

1、整體系統架構調整
在影像圖像監控系統的整體結構調整上,首先雲端儲存系統可以通過將流媒體業務內置,進而可以獨立承擔影像圖像的取流儲存、預覽、轉發等多種功能。這樣在整個系統中,數據的流向可以從攝影機直接寫入雲端儲存系統的儲存節點中,數據的分布式儲存則由雲端儲存系統內各儲存節點自行完成。整個結構省去了很多中間環節,只涉及前端和存儲,因此環節變少、流程簡化後效率隨之提升,故障環節也隨之降低。

另外雲端儲存系統同樣可以針對影像圖像儲存技術進行面向應用的訂製工作,如影像圖像儲存的週期性管理、錄影補錄、索引管理、錄影完整性檢測等,多種影像圖像與儲存相關的內容,都可以整合入雲端儲存系統。從而釋放上層業務系統的系統資源,簡化整個影像圖像儲存結構。


2、影像頻效率優化
雲端儲存系統同樣可以針對影像圖像的數據特點,進行優化工作。從數據特點上分析影像圖像數據是典型的流式數據,流式數據產生時其數據容量的大小就無法估量,如果不限定錄影的保留週期,則一個攝影機產生的數據,將是源源不斷的生成,容量也是無法估計的。因此採用一般文件的儲存方式,就會將影像數據,人為切成大量的影像片段,破壞其完整性。

在現實的使用場景中,影像圖像當然不會無限制地保留下去。以錄像數據保留30天為例,原來源源不斷的影像數據會形成一個以30天數據量為總容量,以時間為周長的圓周。數據在這個30天的圓周上周而復始,不斷循環寫入。

那麼針對影像圖像的這種數據特點,雲端儲存系統可以不再採用影像片段文件,這種非流式數據的儲存方式,改而使用更符合流式數據特點的儲存方式。一個攝影機30天內的數據,以圓周形式進行儲存,數據量則為寫滿圓周的總周長,同時在圓周上以秒或者更細粒度為單位標注時間坐標。那麼在不破壞數據完整性同時,可以根據精確的時間點坐標進行自定義的數據定位、查詢、下載、回放。影像圖像數據的儲存和使用效果會大幅提升。


三、雲端儲存小型化發展與創新
  
常規雲端儲存方案多採用集中儲存方式,因此適應的安防場景多為中大型影像監控項目。然而安防應用場景並非全部都能夠做到集中儲存,大量小型項目、或者要求數據就近儲存的場景對於雲端儲存的大規模集中儲存方式提出了嚴峻的挑戰。

在滿足小型化場景的情況下,特定場景的需求對雲端儲存架構提出了更多要求,雲端儲存需要對自身的架構進行再次定義和調整,以滿足場景客觀需求,同時又必須保障其架構的延續性,以滿足長期規劃。即要求少量儲存設備也能夠構建雲端儲存系統,同時隨著業務規模的不斷擴大與延伸,雲端儲存也需要具備由小至大的線性擴展,使用架構的靈活調整。再則小型化場景的需求,對儲存系統的成本也有較高的要求,這一點也需要重點考慮。

因此雲端儲存系統的小型化方案就必須聚焦在低成本、高擴展這兩點上。在低成本上利用3台,甚至更少的小盤位儲存節點,通過元數據模組的內嵌、儲存業務功能的整合,將若干存儲節點通過集群方式,構建小型雲端儲存系統。

小型雲端儲存系統需要繼承安防雲端儲存架構的優勢,在業務邏輯、數據路徑、安全性上繼續保持安防雲端儲存的建設方式,提供專業的安防雲端儲存服務。同時大量小型雲端儲存的部署客觀上,滿足了就近儲存的需求,加之安防應用平台、雲端儲存調度中心的統一管理與調度,彼此之間又可以形成互動、互聯,有效滿足了分布式存儲的需要。因此發展小型化雲端儲存,可以進一步滿足安防行業豐富的場景需求,對集中式的雲端儲存方案進行強有力的補充。


四、雲端儲存安防民用化的發展與創新
安防行業關注到民用市場的需要,但真正進入這一領域相對於傳統治安、交通等領域而言要晚很多。同時民用市場對於儲存的具體需求,以及民用市場的實際特點與傳統的安防行業特點,又表現出明顯差異。
在傳統安防領域建設存儲系統,其原則是依據當前業務量、儲存容量需要有步驟的進行建設。在建設設計之初,就非常明確系統中的併發業務量和容量需要,且長時間保持一個滿負荷穩定狀態,因此雲端儲存的設計建設就由理可依,按照實際需要建設即可。

而民用市場的出現則完全打破了這一建設模式,民用市場對於儲存的彈性要求非常大,因為整個市場的高速發展,表現出一種前所未有的擴張方式,儲存系統需要及時隨著用戶量的增加不斷進行擴展。同時即使在一天內雲端儲存系統所面臨的併發壓力也不再恆定,而是隨著用戶習慣呈現出波峰波谷,可能某個時刻大量用戶數據,會呈井噴式的湧向雲端儲存系統,造成雲端儲存系統超負荷運行。而又在某個時刻數據儲存量持續下降,雲端儲存以非常輕的負荷在運行。

基於以上特點,如果採用安防傳統的雲端儲存建設思路,則需要按照峰值設計雲端儲存系統,而這樣又會在大量時間造成雲端儲存系統資源浪費。因此在此應用場景上更關注於雲端儲存系統的併發性能彈性,更關注於對數據緩存的處理。
 

在響應波峰高併發壓力的同時,節省不必要的額外開銷,則是雲端儲存系統建設的目標。雲端儲存系統的負載均衡策略,可用最大程度上激發系統併發處理能力,同時通過各節點業務緩存、及時回饋,在策略上快速響應用戶的儲存需要,也將數據進行緩衝處理並逐步消化壓力,以滿足場景需要。

同時民用市場的雲端儲存建設作為公共雲端儲存實際場景,可以有效降低終端用戶的使用門檻,吸引更多用戶關注和使用雲端儲存服務。

五、總結
雲端儲存技術的發展與創新是一個長期持續的過程,技術生長的土壤需要不斷注入用戶需求的養分。隨著雲端儲存在安防行業的持續深入,對於安防行業的理解愈發全面,我們將發現仍然有無限廣闊的空間等待我們的開發。
未來安防分析大數據化、應用雲端化,雲端儲存作為大數據的基石,仍然有很多可以進步和優化的空間。如何與安防大數據相互配合、相輔相成共同發展,為大數據應用貢獻自身的技術價值,也深深值得我們探索。
無論未來雲端儲存技術能夠走多遠,始終離不開對安防行業需求的不斷探索和不斷滿足。十年磨一劍,未來雲端儲存的發展與創新,依然值得人們滿懷期待。 
  
                                                                                                                                                                                                                            

沒有留言:

張貼留言