．這三種分布式儲存文件系統你造嗎？

Introduction to Storage Area Networks (SAN)

康橋科技 —— 白光攝影機專業廠商！

[ 中關村在線原創 ] 魯暢

1

GFS、AFS分布式文件系統

隨著雲計算在全球範圍內的高速發展，谷歌、亞馬遜等企業的崛起，特別是"互聯網+"深入融合背景下的業務雲化需求，傳統企業在數據中心建設中，被動地徘徊在傳統儲存陣列，與分布式儲存，兩種體系儲存架構之間。

這兩種儲存結構並沒有絕對的優劣之分，而大數據的繁盛讓分布式儲存架構近幾年中，獲得了前所未有的關注。（以下圖片來源於網絡）

傳統儲存於分布式系統

傳統SAN以高度的可靠性、穩定性和功能豐富性，在應用實踐中獲得了廣泛認可。隨著數據量不斷增加，企業對於數據儲存可擴展性提出要求，分布式儲存系統逐步成為擴展性強、價格低廉的選擇。

考量分布式儲存的關鍵技術主要包括：全局名字空間、緩存一致性、安全性、可用性和可擴展性。從數據形態來劃分，主要有：結構化數據、非機構化數據和半結構化數據。

GFS、AFS和Lustre成為主流的三種分布式儲存文件系統。其中，GFS（Google file system）被稱為谷歌文件系統，其性能、可擴展性、可靠性和可用性都收到了肯定，主要部件包括一個Master和n個chunkserver，和Chunk Server（數據塊伺服器）同時可以被多個客戶Client訪問。

GFS架構

不同於傳統的文件系統，GFS不再將組建錯誤當成異常，而是將其看做一種常見情況予以處理。對待文件的大小一直是文件系統要考慮的問題，對於任何一種文件系統，成千上萬的幾KB的系統，總會壓死內存，所以，對於大型的文件，管理要高效，對於小型文件也要支持，但是並沒有進行優化。

在GFS中chunk server大小被固定為64MB，這樣的塊規模，比一般的文件系統的塊規模要大得多，可以減少元數據metadata開銷，減少Master的交互，但太大的塊規模也會產生內部碎片，或者同一個Chunk中，存在多個小文件，可能產生訪問熱點。

GFS主要運行在大量運行Linux系統的普通機器上，從而降低了其硬件成本。但一系列冗余備份、快速恢復等技術，保證其正常和高效運行，GFS也是實現非結構化數據的，主要技術和文件系統。

AFS是Andrew File System的簡稱。AFS將文件系統的可擴展性，放在了設計和實踐的首要位置，因此AFS擁有過很好的擴展性，能夠輕鬆支持數百個節點，甚至數千個節點的分布式環境。AFS由卡內基美隆大學最初設計開發，目前已經相當成熟，用於研究和部分大型網路之上。

AFS概况

AFS主要組建包括：Cells、AFS clients、基本儲存單元Volumes、AFS servers和Volume replication。AFS實現的是模組化的，並不要求在每台伺服器上，運行所有伺服器進程。AFS擁有良好可擴展性，客戶端能夠帶來性能的提升，和可用性的提高、AFS的缺點在於管理員介面友好性不足，需要更多的專業知識來支持AFS。