‧ 大數據儲存管理中面臨的挑戰及對策

來源:賽迪網

大的資料並不是一種特定類型的資料。每一種非結構化資料均可被視為Big Data*【註1】。這包括在社交網站上的資料、線上金融交易資料、公司記錄、氣象監測資料、衛星資料和其他監控、研究和開發資料。Big Data的量是巨大的而且是非結構化的。

*【註1】：大數據一般尚有大數據、巨量資料等同義翻譯，英文為Big Data。

IDC將Big Data技術定義為：Big Data技術描述了新一代的技術和架構體系，通過高速採集、發現和分析，提取各種各樣的大量資料的經濟價值。如下是一些有助於您的企業有效地管理資料儲存需求的提示：

通過隔離管理 Big Data 儲存

如果您在您的企業中有多個儲存箱，那麼將資料庫、線上交易處理(OLTP)和微軟Exchange應用到特定的儲存系統絕對是一個好主意。而專其它儲存系統則用於Big Data應用，如門戶網站，線上流媒體應用，等等。

如果您的企業負擔不起分隔的儲存系統，將特定的前端儲存埠到資料庫，OLTP，等等;致力於Big Data應用到其他埠。背後的基本原理是使用專用埠，而Big Data流程量是以千位元組或百萬位元組衡量，OLTP應用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為資料塊的大小是比Big Data更大而比OLTP應用程式更小。OLTP應用程式是CPU密集型的，而Big Data應用程式更多的使用前端埠。因此，更多的埠可以專注於Big Data應用。

　　

www.apuuli.de

專業的Big Data儲存管理

如今，很多公司提供相容資料管理的儲存系統。你應該在尋找你的Big Data儲存管理解決方案時評估這些公司。如EMCIsilon的集群儲存系統對於Big Data儲存管理是一個更好的選擇，因為在一個單一的檔案系統中Big Data能增長到多位元組的資料。

Big Data分析

除了儲存，Big Data管理的另一項大的挑戰是資料分析。一般的資料分析應用程式無法很好的處理大資料，畢竟涉及到大量的資料。

目前，諸如EMC Green plum這樣的公司就在採用專門針對Big Data的管理和分析的工具。這些應用程式運行在集群儲存系統上，緩解大資料的管理。建議選擇應用程式可同時工作在群集儲存系統，並迅速有效地分析資料。快速索引，確保中繼資料始終駐留在固態硬碟(SSD)，如果儲存箱為您提供了這樣的選擇的話。

管理Big Data的另一個需要重點考慮的是未來的資料增長。你的Big Data儲存管理系統應該是可擴展的，足以滿足未來的儲存需求。