時至今日，我們的數據管理能力日益提升，但數據分析能力仍相對落後。儘管工具與流程皆已齊備，但還是缺少充足的數據科學家人員。
在今天的文章中，我們將專注於能夠交付實際分析結論的大數據應用，同時追蹤其發展及當前狀態，最終借此窺探大數據技術的未來發展方向。
早期大數據技術採納方，指明令人感興趣的跨行業發展可能性
根據 2012 年《福布斯》雜誌發表的文章，早期大數據技術採納方主要來自金融服務、電信、製造（特別是消費級產品）以及政府領域。
早期採納方在起步階段，會使用其新近安裝的大數據基礎設施（例如 HDFS、MapReduce 以及 NoSQL 數據庫等等）以實驗各類新型應用。
根據 Pacific Crest 公司收集到的數據，各早期採納方往往希望利用這些方案處理數據中心日誌資訊（包括伺服器、路由器，以及各類物聯網感測器等），旨在實現網路分析與 IT 系統性能監控。
在此基礎之上，亦有相當一部分企業嘗試利用大數據技術，進行財務數據（欺詐檢測）與 Web 數據（情感分析以實現個性化體驗）分析。
表 1，大數據應用早期實驗方向
初步實驗對於瞭解大數據基礎設施收益、潛力與不足之處非常重要。然而根據 CapGemini 於 2014 年發佈的報告，試水性實驗的成功比例並不算高。其失敗原因主要有三：
‧將數據分散在多個不同團隊中，因此訪問難度較原始設計更高；
‧數據被安置於遺留系統當中，導致將其導出至大數據基礎設施變得非常困難；
‧缺少統一而明確的全局性數據管理與數據分析方案，這使得工作人員難以從數據內提取信息。而隨著此類問題的一一克服，近來我們發現成功案例變得愈發普遍。事實上，目前全球各地對於大數據基礎設施及其附加方案的興趣都呈現出快速升溫之勢 （見圖一）。
圖 1，各行業與地區大數據投入數據
企業客戶持續投資給初創公司帶來可觀的風投支持積極性
企業向大數據技術投入的資金呈現增長之勢。根據 NewVantage 指出，受訪企業中有 27% 表示，其將在 2017 年之前，向大數據項目投入超過 5000 萬美元資金。而在 2014 年面向同樣企業對象的調查中，這一比例僅為 5.4%。
目前，價值萬億美元的行業，包括醫療衛生、保險、農業、能源、醫藥、教育、汽車、運輸以及物流等等，都在積極探索如何利用大數據利器，解決自己面臨的現實難題。
舉例來說，汽車製造商希望分析消費者的資訊娛樂選擇，以提供更理想的車載資訊娛樂體驗，同時亦需要分析車輛性能數據，以提供預防性維護建議。
另外， 無線運營商也希望瞭解消費者，如何使用其數據，從而更好地提供內容並實現營收。
考慮到以上提到的企業投資與變革力度，風險投資商們則更為積極地為大數據初創企業提供資金，如圖三所示。單在 2015 年年內，風投方為大數據初創企業提供的資金總額，就高達 67 億美元，超過 2014 年的 60 億美元。
圖 2，截至 2016 年 2 月大數據應用總體態勢圖
出於同樣的理由，大數據初創企業也開始迎來一波收購浪潮。
其中包括 AOL 收購 Convertro，Google 收購 Adometry，蘋果收購 Topsy，Teradata 收購 Aster Data 與 Think Big Analytics，Salesforce 收購 Edgespring 等等。最近，我們還見證了微軟收購 Revolution Analytics，HDS 收購 Pentaho 以及 Advance 收購 1010Data。除此之外，小規模收購亦層出不窮，包括 Amazon 收購 Amiato 等。
如圖二所示，目前風投方的主要關注重點，在於大數據基礎設施與工具。儘管基礎設施與工具部署，同樣顯示出旺盛的生命力，但這裡我們姑且將注意力集中在大數據應用身上。
大數據應用的崛起
資訊技術中的每個新興領域（例如智慧商務、客戶端 / 伺服器計算、雲計算以及行動計算等） 通常都需要經歷三個發展階段：
‧基礎設施部署，在大數據領域，此類基礎設施負責對數據進行儲存、管理、行動與傳輸。
‧工具部署，在大數據領域，此類工具用於搜索，並分析各種形式的大數據並呈現處理結果。
‧應用程序引入，通常將基礎設施與工具轉化為實際功能。
遵循這樣的分階段實現方式，眾多大型企業已經開始，部署大數據基礎設施與多種工具，旨在分析收集到的海量數據。
圖片來源：Adtech Global
由於我們已經進入應用開發與部署階段，因此最重要的是著眼於具體軟體。截至目前，我們已經發現了三種主要大數據應用類型：
淺層應用，包括執行客戶流失分析，並圍繞通用型分析工具，進行開發（例如 Dataminr 與 DataRobot 等）。 這些應用由數據科學家負責支持，從而執行經過嚴格定義的任務流程，並且通常只能在運行基礎之上，提供淺層分析能力。
而這些由分析模型與報告機制驅動的應用，由數據科學家及服務專家，進行開發與維護——他們往往來自管理咨詢企業，且充分理解相關業務領域，及最終用戶需求。最終用戶通常為商業分析師。
應用能夠處理大數據，但無法實現任何形式的預測，或預測性分析（例如 Socrata 及 Zuora）。 這類應用可能面向水平或垂直體系，其能夠為最終用戶——主要為商業分析師——提供理解數據並形成結論報告的能力。作為實例，紐約市就利用 Socrata 系統創建財務報告。
具備嵌入式預測性分析的應用，此類應用未來將分為以下兩種類別：
‧包含預測模型，並由數據科學家負責開發與定期更新。這意味著應用供應商必須擁有強大的服務能力，以支持軟體功能。此類應用包括 AgileOne、OPower、Zephyr Health、Duetto 以及 DataXu 與 MediaMath 等線上廣告應用方案。
‧所使用的預測模型可由應用本身自動構建。此類應用廠商包括 Oration 與 Namogoo。
歸屬於這一類別的應用可能面向橫向（例如 AgileOne 與 Namogoo）或垂直領域（例如 OPower、Duetto 或者 Oration）。
這三種大數據應用類型，可被視為應用領域的開創者，如今以其為基礎，又有第四種見解型應用開始出現。之前提到的第三種應用同見解型應用最為接近，但二者間又存在著重要差異：其能夠做出預測，但無法形成見解。
換言之，第三種應用無法根據預測結果執行對應操作。相反，它們依賴於用戶來辨識特定預測結果，並執行對應行為。
圖片來源：CSC
總結儘管仍然面臨多種障礙（每一種新興技術在出現後，都必須面對挑戰），但大數據的早期採納方，已經在相關項目當中積極投資，並將其部署至企業業務系統當中，以解決各類關鍵性難題。為了實現大數據的跨行業處理潛能，各風險投資方都在積極為大數據初創企業提供援助，希望其解決方案能夠為大型企業客戶所採納。考慮 到已經陸續出現的大量大數據基礎架構，及部署分析工具，多數企業開始將注意力轉向大數據應用程序。我們確定的這三種具體類型，涵蓋了相繼出現的各類新型大數據應用。其中一些能夠提供預測結論，但卻無法實現見解與實際行動，這亦是大數據應用，尚未徹底發展成熟的主要標誌。在未來的文章中，我們將深入探討見解型應用 ——即第四類亦是最具發展前途的大數據應用類型。260161017
題圖來源：Raconteur
0 comments:
張貼留言