cookieOptions = {...}; .大數據的產業鏈分析 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2017年12月11日 星期一

What is Big Data? Big Data Explained (Hadoop & MapReduce)



來源:不可错过的大数据


大數據的產業鏈分析,大數據完整的產業鏈構成如下圖所示,可分為標準與規範、數據安全、數據採集、數據儲存與管理、數據分析與挖掘、數據運維,以及數據應用幾個環節,覆蓋了數據從產生到應用的整個生命週期。
 

1、數據標準與規範
大數據標準體系是開展大數據應用的前提條件,沒有統一的標準體系,數據共享、分析、挖掘、決策支持,將無從談起。

大數據標準包括體系結構標準、數據格式與表示標準、組織管理標準、安全標準和評測標準。在標準化建設方面,參與單位主要包括電子技術標準化研究院、各個數據庫公司、數據擁有部門以及各個行業的標準化組織。

2、 數據安全
隨著海量數據的不斷增加,對數據儲存和訪問的安全性要求越來越高,從而對數據的訪問控制技術、加密保護技術,以及多副本與容災機制等,提出了更高的要求。

另外,由於大數據處理主要採用分布式計算方法,這必然面臨著數據傳輸、資訊交互等環節,如何在這些環節中,保護數據價值不洩露、資訊不丟失,保護所有站點的安全,是大數據發展面對的重大挑戰。

在大數據時代,傳統的隱私數據內涵與外延,有了巨大突破和延伸,數據的多元化與彼此的關聯性進一步發展,使得對單一數據的隱私保護方法變得極其脆弱,需要針對多元數據融合的安全提出。

3 、數據採集
政府部門、電信營運商如中華電信、遠傳、台灣大哥大等是當前大數據的主要擁有者。除此之外,利用網路爬蟲或網站公開 API 等途徑,對網路數據進行採集,也是大數據的主要來源。

現實世界中的數據大多不完整或不一致,無法直接進行數據挖掘或挖掘結果不理想,需要對採集的數據進行填補、平滑、合併、規格化、檢查一致性等,數據預處理操作,並且往往需要大量的人工參與,因此數據採集和清洗,成為大數據產業鏈的一個重要環節。

4 、數據儲存與管理
大數據儲存與管理的主要參與者,以傳統數據庫企業為主,國際上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等。各家企業針對大數據應用,開展各具特色的數據庫架構和數據組織管理研究,形成針對具體領域的產品。

5 、數據分析與挖掘
大數據分析與挖掘的意圖主要集中在兩方面: 一是從大量的機構結構化和半結構化數據中,分析出電腦可以理解的語義資訊或知識,二是對隱性的知識,如關聯情況、意圖等進行挖掘。常用的方法包括分類、聚類、關聯規則挖掘、序列模式挖掘、時間序列分析預測等。

數據分析與挖掘的核心算法與軟體,主要掌握在大型數據庫公司及大學院校的手裡,國際上主要參與者包括 IBM、甲骨文、微軟、谷歌、亞馬遜、Facebook 等。數據分析與挖掘的能力,直接決定了大數據的應用推廣程度和範圍,是大數據產業的核心。

6、 數據運維
由於數據的重要性得到普遍認可,除政府部門不具備數據運維服務條件外,數據的採集者通常就是數據運維者。各地政府方面則通常利用大數據平台建設,來推動政府大數據的公開與共享,如在中國的雲上貴州,吸引個人和企業用戶開展創新與創業,積極推動大數據的增值服務。

7、 數據應用
大數據對傳統資訊技術帶來革命性挑戰,正在重構資訊技術體系和產業格局。對岸中國以阿里巴巴、百度、騰訊、人大金倉、浪潮、曙光、南大通用為代表的互聯網企業、雲計算和數據庫廠商紛紛加大應用推廣力度,在國際先進的開源大數據技術基礎上,形成獨自的大數據平台建構和應用服務解決方案,以支撐不同行業不同領域的專業化應用。

雖然這些企業在平台建構上,有著得天獨厚的優勢,但是在某些具體業務領域,並不擅長或者關切。

傳統企業以及從事大數據的微型企業,是具體業務領域上,大數據應用的主力軍。應用是大數據價值的體現,是大數據發展的原始推動力。

當前大數據的應用正倒逼軟體技術、數據架構、數據共享方式的轉變,在轉變思維過程中需要積極轉變思維,明確出數據共享的方式是什麼,數據擁有者的利益如何平衡,商業模式如何開展等等。(170116)

Nx Witness v3.0 - 雲端影像平台解決方案 — 

                                                                                                                                                                                                                            

0 comments: