大資料很熱門，也都認可它很重要。那都有哪些細分領域，在用即時大資料分析?大資料分析目前有哪些主流技術?大資料分析有什麼挑戰?
大資料在各行業的機遇如下：金融證券(高頻交易、量化交易)，電信業務(支撐系統、商業智慧)，能源(電廠電網監控、用電資訊採集分析)，互聯網與電商(使用者行為分析、商品模型分析、信用分析)，其他行業如智慧城市、物聯網。
經典的案例：
智慧城市，一個城市，大概有十幾萬的攝影機在城市裡面，每秒都會發資料到雲端的資料中心裡面，每天有TB級別的資料需要處理，並且需要即時的回饋，這個場景需要即時處理的技術。
車聯網，我們有一個客戶做車聯網，他大概一個城市每台電腦上，都要裝終端，這個終端每分鐘會發一個路況的資訊發到雲端，要發一億條資料到雲端裡面，並且是每分鐘進行一些計算，即時的判斷路況，給用戶最好的行車建議。
 |
| www.singpao.com |
金融證券，比如金融交易電話交易是一個主流的方向，我們為一個證券的機構構建了一個非常大的雲平台，有幾百億條資料放在後台裡面，可以即時的提供資料的分析，資料的介面，讓他們快速的運行。
電信，我們這邊在行動那邊有一個案例。我們在一個中國的省裡面，我們把一個省的所有上網的資訊，都載入到我們的集權裡面，我們的集權可以把一些統計回饋給他們，支撐他們一些業務的支撐系統，還有商業技能，還有統計相關的。
能源，主要用於電廠電網的監控，用電資訊採集的分析。
電商(電子商務)，即時的推廣廣告給用戶，他們可以做商品模型的分析，把最好的產品推薦給使用者。比如說互聯網裡面，有一個商品模型，還有信用分析。我有一個朋友是做信用分析的，在十幾秒鐘之內把這個人的資料進行一個分析，給用戶做一個評級，迅速的判斷這個用戶是不是值得放貸款給他。
為什麼需要大資料即時的分析?
第一、即時的決策，量化交易，可以即時的計算資料，迅速的判斷我是買股票還是不買。第二、提高業務效率。第三、對於到資料，我們可以自由的嘗試一些新的演算法，或者是新的策略。這樣通過即時的嘗試，我們可以快速發現新的觀點和機會。第四、提供業務產出。
大數據的挑戰是什麼呢?首先是要快：10秒以內，100毫秒為最佳給出結果。互聯網公司，如谷哥、百度他們希望100毫秒給出結果。一些金融機構他們希望微秒給出結果，需要即時的能力，第一點就是快，就是即時的分析。第二、就是大，針對的資料量，是10億每TB的級別。之前我們認為資料超過1000萬不算大。我們現在碰到最大的集權，大概是接近萬億條資料這樣的級別。第三、可以做各種各樣的分析操作。最簡單的是查詢，也可以是邏輯複雜一些的演算法和資料分析。
有哪些技術可以選擇?
第一個是hadoop。它本身是谷歌研發出來的，它是在大資料方面的演算法，對於TB資料，在大方面沒有問題，並且操作多樣化。因為他上線的工具有很多的演算法都是非常不錯的。但是它的快比較尷尬，他需要一分鐘以內才可以，他很多要做一個reduce，需要很長的時間。
第二、No SQL(非關聯式的資料庫)。在大方面，應該可以支撐大。Hbase可以滿足大的特點，它可以做到一個大。Hbase底層是資料庫，只能支援簡單的查詢。Hbase很難做一些邏輯複雜的資料分析和挖掘。比如說淘寶網那邊，他們可能比較有錢，他們用大量的硬體和大量的開發成本，有一套Hbase的資料開發集群。對於中小企業，和傳統的企業是不的太適合用No SQL做分析的。它需要巨大的硬體成本和開發成本。
傳統的資料庫甲骨文支援大資料的分析嗎?支援演算法可以，但是天生對大的資料運算比較吃力。
0 comments:
張貼留言