cookieOptions = {...}; .大數據分析及其數據來源 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2017年11月20日 星期一

Big Data...What it Means to You



康橋科技 —— 白光攝影機專業廠商!


來源:36大数据


當我們談到大數據分析,首先需要確定數據分析的方向和擬解決的問題,然後才能確定需要的數據和分析範圍。

大數據驅動的分析主要的挑戰不是技術問題,而是方向和組織領導的問題,要確定方向,提出問題,需要對行業做深入的瞭解。

大数据
  

當然,大數據分析最核心的,關於數據的來源更是至關重要的。在數據量非常大的今天,如何以更高的效率獲取到分析所需要的數據,如何利用這些數據反應最真實的情況,是業內不斷探討的議題。接下來,小編就帶大家來瞭解下大數據分析及其數據來源。

大數據分析
大數據分析,顧名思義,就是對規模巨大的數據進行分析,是研究大量的數據的過程中尋找模式,相關性和其他有用的資訊,可以幫助企業更好地適應變化,並做出更明智的決策。

大數據分析的第一步是數據的「抽取—轉換—加載」(the Extract-Transform-Load,ETL),這就是所謂的數據處理三部曲。該環節需要將來源不同、類型不同的數據如關係數據、平面數據文件等抽取出來,然後進行清潔、轉換、整合,最後加載到數據倉庫或數據集市中,成為聯機分析處理、數據挖掘的基礎。需要指出的是,儘管大數據分析有它的優勢,但是也有很大的局限性。

很多時候,大數據產生的相關關係可能是虛假的,在完全隨機的數據中顯示了某些規律,因為數據的量非常大,可能產生向各個方向輻射的各種聯繫,有可能會得到與事實完全相反的結論。但是只要數據足夠大,數據挖掘總能發現一些相關關係,可以幫助我們發現趨勢和異常情況。





數據來源
大數據分析的數據來源有很多種,包括公司或者機構的內部來源和外部來源。分為以下幾類:

1.交易數據。包括POS機數據、信用卡刷卡數據、電子商務數據、互聯網點擊數據、「企業資源規劃」(ERP)系統數據、銷售系統數據、客戶關係管理(CRM)系統數據、公司的生產數據、庫存數據、訂單數據、供應鏈數據等。

2.行動通信數據。能夠上網的智慧手機等行動設備越來越普遍。動通信設備記錄的數據量和數據的立體完整度,常常優於各家互聯網公司掌握的數據。

動設備上的軟件能夠追蹤和溝通無數事件,從運用軟件儲存的交易數據(如搜索產品的記錄事件)到個人資訊資料或狀態報告事件(如地點變更即報告一個新的地理編碼)等。

3.人為數據。人為數據包括電子郵件、文檔、圖片、音訊、視,以及透過博客、推特、維基、臉書、Linkedin微信等社交媒體產生的數據流。這些數據大多數為非結構性數據,需要用文本分析功能進行分析。

4.機器和傳感器數據。來自感應器、量表和其他設施的數據、定位/GPS系統數據等。這包括功能設備會創建或生成的數據,例如智慧溫度控制器、智電表、工廠機器和連接互聯網的家用電器的數據。

來自新興的物聯網(IoT)的數據是機器和傳感器,所產生的數據的例子之一。來自物聯網的數據可以用於構建分析模型,連續監測預測性行為(如當傳感器值表示有問題時進行辨識),提供規定的指令(如警示技術人員在真正出問題之前檢查設備)等。

5.互聯網上的「開放數據」來源如政府機構,非營利組織和企業免費提供的數據。


                                                                                                                                                                                                                 

0 comments: