‧ 大數據要落地需破除三大障礙

來源:CPS中安網 作者:魏凱

 　　大資料無疑是今年時髦的詞彙了。不管是雲計算、社交網路，還是物聯網、移動互聯網和智慧城市，都要與大資料扯上關係。各種與大資料有關的會議、文章、書籍鋪天蓋地。有人談論大資料時代的公民生活，也有人談論大資料時代網路反腐。仿佛一夜之間我們就進入了大資料時代。

大資料火爆，引發思想啟蒙 

　　國際上，大資料還真是熱火朝天，各方都在積極行動。一方面，政府積極介入推動。2009年，聯合國啟動“全球脈動計畫”，借大資料推動落後地區發展。2012年1月，世界經濟論壇年會把“大資料、大影響”作為重要議題。美國從開放政府資料、開展關鍵技術研究和推動大資料應用三方面佈局大資料產業。美國在開放政府上非常積極，通過Data.gov開放37萬個資料集，並開放網站的API和原始程式碼，提供上千個資料應用。

　　除了推動推動中國政府資料開放，美國宣導發起全球開放政府資料運動, 已有41個國家回應。美國政府還投資兩億美元促進大資料核心技術研究和和應用，把大資料放在與積體電路、互聯網同等重要的位置，從國家層面推進。

　　另一方面，資本市場也對大資料鍾愛有加。2012年4月，大資料分析公司Splunk高調IPO，引發投資者關注。12月初，為企業市場提供Hadoop解決方案的創業公司Cloudera在E輪融資中獲得6500萬美元融資，估值約為7億美元。近期，高盛聯席主席斯科特?斯坦福說：“投資大資料及其運用回報率最高”。大資料領域的企業並購熱度也在上升，單筆平均並購金額方面，大資料超過雲計算位居IT領域榜首，在總並購額上也位居第二。

　　在各方力量的推動下，大資料科研和產品開發逐漸活躍起來。一個新概念的興起，最初往往會有人快速地“新瓶裝舊酒”。已經存在好多年的商業智慧、資料倉庫等技術被重新包裝，以大資料系統的面目出現在市場上。這也使人困惑：到底大資料與傳統資料分析技術有什麼差別？可以說大資料最重要的特徵是將資料處理的物件擴展到互聯網級別（Internet Scale），技術上的進展主要包括：1）單資料集達到PB級別；2）非結構化占主流；3）幾天至數秒內完成高速處理。技術形成了批次處理、流處理和交互分析三種計算模式：離線批次處理（Batch Processing）技術以MapReduce和Hadoop系統為代表，即時流處理（Stream Processing）技術以Yahoo的S4系統和Twitter的Storm系統為代表，互動式分析（Interactive Analysis）技術以谷歌的Dremel系統為代表。

　　大資料的火爆，也帶動了中國學術界、產業界和政府對大資料的熱情，但筆者覺得更大意義在於喚醒了人們對資料的重視。今年以來，中國電腦學會、中國通信學會先後成立了大資料委員會，研究大資料中的科學與工程問題，科技部的《中國雲科技發展“十二五”專項規劃》和工信部的《物聯網“十二五”發展規劃》等都把大資料技術作為一項重點予以支持。

　　這些舉措著眼長遠，短期難以看到效果。但這種熱潮的確觸發了一場思想啟蒙運動，使得“大資料是資產，不是包袱”、“要拿資料說話”等觀念逐步深入人心，改變了以往不重視資料積累，不相信資料分析等認識。有了這種思維模式的改變，大資料的應用就有了希望。

空談誤國，拒絕被大數據忽悠 
 

　　炒作歸炒作，但真正可以落地，或者已經落地的應用有哪些？在哪裡？聯合國“全球脈動（Global Pulse）”今年5月發佈的報告，給出了用Twitter預測大米價格、用穀歌趨勢（Google trends）跟蹤登革熱疫情等生動案例；美國中央情報局官員也披露大資料在説明他們追捕恐怖分子方面立下功勞；有人聲稱成功利用Twitter預測了本屆美國大選。

　　這些聽起來很炫的案例在各種場合被人們反復引用。各大諮詢公司和解決方案提供商也都會盡力挖掘大資料的應用場景。但實際看到的大規模應用案例除了互聯網搜尋引擎、電商和社交網站，以及少數國家的政府網站外，其他領域還並不多見。中國應用案例就更是鳳毛麟角了。

　　空泛的炒作時間長了難免令人厭倦。有人開始質疑，大資料是大價值還是大忽悠？也有人警告說，“大資料是機會，但不是所有人的機會”，只有擁有大資料的大型企業和政府機構才有應用大資料的潛力與機會；“大資料的確會有價值，但沒有那麼大”，就看你會不會挖掘，是否善於運用資料分析的結果了。只有冷靜分析大資料對自身的價值與機遇，才能避免被忽悠。

實幹興邦，破除大數據落地三大障礙 

　　應該說，全球來看，對大資料認識、研究和應用還都處於初期階段。特別是對中國來說，大資料真正落地，還需要邁過三道坎。

　　第一，資料是否足夠豐富和開放？豐富的資料來源是大資料產業發展的前提。而中國數位化的資料資源總量遠遠低於美歐，每年新增資料量僅為美國的7%，歐洲的12%，其中政府和製造業的資料資源積累遠遠落後於國際。就已有有限的資料資源來說，還存在標準化、準確性、完整性低，利用價值不高的情況，這大大降低了資料的價值。同時，中國政府、企業和行業資訊化系統建設往往缺少統一規劃和科學論證，系統之間缺乏統一的標準，形成了眾多 “資訊孤島”，而且受行政壟斷和商業利益所限，資料開放程度較低，這給資料利用造成極大障礙。制約中國資料資源開放和共用的一個重要因素是政策法規不完善，一方面欠缺推動政府和公共資料的政策，另一方面資料保護和隱私保護方面的制度不完善抑制了開放的積極性。因此，建立一個良性發展的資料共用生態系統，是中國大資料發展需要買過去的第一道砍。

　　第二，是否掌握強大的資料分析工具？要以低成本和可擴展的方式處理大資料，這就需要對整個IT架構進行重構，開發先進的軟體平臺和演算法。這方面，國外又一次走在我們前面。特別是近年來以開源模式發展起來的Hadoop等大資料處理軟體平臺，及其相關產業已經在美國初步形成。而中國資料處理技術基礎薄弱，總體上以跟隨為主，難以滿足大資料大規模應用的需求。如果把大資料比作石油，那資料分析工具就是勘探、鑽井、提煉、加工的技術。中國必須掌握大資料關鍵技術，才能將資源轉化為價值。應該說，要邁過這道坎，開源技術為我們提供了很好的基礎。

　　第三，管理理念和運作方式能否適配資料化決策？大資料開發的根本目的是以資料分析為基礎，説明人們做出更明智的決策，優化企業和社會運轉。哈佛商業評論說，大資料本質上是“一場管理革命”。大資料時代的決策不能僅憑經驗，而真正要“拿資料說話”。因此，大資料能夠真正發揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構的與大資料技術工具相適配。這或許是我們最難邁過的一道坎了。