2011年5月31日 星期二

‧ 誰會成為高清監控儲存的選擇 (儲存架構比較)

安防監控網


視頻採集過程中,視頻檔格式一般都不會發生變化,且碼率保持恒定,視頻圖像的幀率一般為25/S,也就是說在存的讀寫操作中,必須保證的高頻寬,否則圖像採集或重播就會出現丟幀現象,因此視頻監控系統對存系統在高併發IO的情況下不僅要求在高併發IO的情況下頻寬大,還要求頻寬穩定。

  資料讀寫操作的持續時間長。由於攝影機一般都是7*24小時工作的,所以資料寫入操作的持續時間也是7*24小時不間斷的,後期重播時也需要在7*24小時內都能夠及時獲取資料。因此要求系統在硬碟損壞,甚至某些節點當機的情況下,能夠保持7*24小時不間斷穩定運行。

  視頻監控系統一般具有攝影機路數多,視頻圖像存時間長,因此容量需求巨大,且隨著圖像時間的增加,容量需求呈線性的、爆炸性的增長。因此視頻監控系統必須支援大容量,且容量具有高擴展性,滿足長時間大容量視頻圖像的需求。


傳統IT存儲架構的不足和缺陷
  高清視頻監控系統需要具有海量資料高效管理、高效檢索、高可靠性等一系列的要求,不過傳統的IT方式(包括DASNASSAN)在這些方面似乎有著各項不能勝任的理由:
  DAS:該方案利用HBA卡直接連接應用伺服器和光纖盤陣,不提供資料共用能力。如果多個應用需要共用同一份資料,往往要花費大量的時間進行資料遷移,結果導致環境中存在多份相同的資料,並且多份資料之間的同步困難,浪費了大量的人力物力。

  SAN:該方案利用存儲光纖網路連接應用伺服器和光纖盤陣,相比DAS 更具靈活性和可擴展性。但是SAN仍然不具備資料共用能力,而且由於SAN系統高昂的價格,以及不同廠商之間的設備相容性問題,限制了在HPC領域的使用。

  NAS:提供NFS或者CIFS 協定訪問的NAS 系統能夠給應用伺服器提供統一的檔系統映象,滿足多台應用伺服器之間共用資料的需求。但是由於傳統NAS 往往通過單台伺服器的形式提供檔級的空間,其有限的IO頻寬和可擴展性都難以滿足HPC 系統大量的併發讀寫需求。而且NAS對檔系統鎖的支援較差,多台用戶端不能同時讀寫同一檔,導致用戶端之間不能夠很好的協同工作。

  SAN+NAS:該方案一定程度上具備了SAN 的可擴展能力和NAS的資料共用能力,但仍然存在明顯的缺陷。應用所有的資料I/O都必須通過單個NAS伺服器進行,使得整套系統的I/O 頻寬受限於NAS伺服器的頻寬,仍舊難以滿足HPC環境的需求。

集群儲——高清監控的曙光?
  面對如此情況,儘管眾人把希望寄託在雲存身上,然而,雲計算落地時間尚早,雲端儲存的應用到戶時間還有待商榷,視頻監控用戶該如何實現大資料量的高清監控資料呢 集群似乎成為廠商解決視頻監控系統大容量、高穩定性的答案。

  先來解釋一下集群的概念。所謂集群是指將多台設備中的空間聚合成一個能夠給應用伺服器提供統一訪問介面和管理介面的池,應用可以通過該訪問介面透明地訪問和利用所有設備上的磁片,可以充分發揮設備的性能和磁片利用率。資料將會按照一定的規則從多台設備上和讀取,以獲得更高的併發訪問性能。

  集群的優勢主要體現在提高並行或分區I/O的整體性能,特別是工作流、讀密集型以及大型檔的訪問,通過採用更低成本的伺服器來降低整體成本。

  200810月,某企業在大陸中影集團機房內利用相同的硬體環境對集群架構與傳統架構分別做了性能測試,用iozone工具測試架構的併發IO性能。結果顯示,集群架構與傳統架構相比較,併發寫性能高約30%,併發讀性能高約10%

  傳統類型的架構,每1TB硬碟的I/O平均讀寫速度最高能達到15-20MB/s,以60TB為例,整個架構的I/0併發讀寫速度僅能達到0.9-1.5GB/s,無法滿足高併發性的要求;CZSS系統打破了傳統意義上的以硬碟為單位的I/O讀寫速度的瓶頸,採用了高效的檔管理機制,以節點為整個系統I/O讀寫的計算單位,同樣60TBCZSS系統大約需要10個節點(10單元),每個節點的讀寫速度為300MB/s以上,故併發讀寫速度可達到3GB/s以上,極大地滿足了用戶對於系統高併發性的要求。

  而且在傳統測試過程中在做併發讀寫的時候,在用戶端無法對傳統系統掛載目錄進行ls(查看目錄中的檔)操作,即傳統系統在有負載的情況下無法查看其中的資料,這樣使得在系統在有任務時,就無法取出在傳統存儲架構中的結果資料。這種現象說明傳統架構的基本單位元的資料處理能力很低,在有大量檔的情況下會導致系統無法提供服務。

  傳統架構的軟體在用戶端請求數較多時,元資料類操作將失去回應。此時所有的用戶端將無法執行打開檔夾、查詢檔類的操作,這樣,所有的桌面用戶端都將失去回應,製作工作將完全無法進行。而CZSS的存儲軟體沒有這個問題。在同等硬體條件下,集群系統軟體的IO頻寬比傳統架構軟體要高出30%。投資成本降低了40%以上。

  目前來說,大陸安防市場的發展主要是由一些政府主導的專案在推動,比如平安城市建設,交通監控系統建設等,這些安防系統都有著多路數、高圖像品質的要求,同時要求系統具有即時處理資訊的能力,由此帶來的大資料量的問題不可避免。

  安防行業從類比時代過渡到數位時代,監控架構從DVRNASSAN的過渡,應該說這是一個時代的進步。隨著高清監控的到來,當傳統IT存儲架構也無法滿足高清監控的要求時,集群——對安防行業來說,這一新的方式能否被我們接受呢真金不怕火煉,我們只能說,對於任何新事物,用戶接受都需要一定的時間和過渡期。


轉載自安防監控網 [ http://www.afjk.com/ ]

沒有留言:

張貼留言