．工業大數據：數據採集的那些事

Industrial Big Data

來源：亿欧网

實現工業4.0，需要高度的工業化、自動化基礎，是漫長的徵程。工業大數據是未來工業在全球市場競爭中發揮優勢的關鍵。無論是德國工業4.0、美國工業網路，各國製造業創新策略的實施基礎，都是工業大數據的蒐集和特徵分析，及以此為未來製造系統搭建的無憂環境。

不論智慧製造發展到何種程度，數據採集都是生產中，最實際最高頻的需求，也是工業4.0的先決條件。

數位化工廠不等於無人工廠，產品配置，製造流程越複雜越多變，越需要人的參與；在數位化工廠當中，工人更多地是處理異常情況，調整設備。

但數據採集一直是困擾著所有製造工廠的傳統痛點，自動化設備品牌類型繁多，廠家和數據接口各異，國際廠家本地支持有限，不同採購年代。即便產量停機數據自動採集了，也不等於整個製造過程數據都獲得了，只要還有其他人工參與環節，這些數據就不完整。

工業數據採集類型

互聯網的數據，主要來自於網路用戶，和伺服器等網路設備，主要是大量的文本數據、社交數據以及多媒體數據等，而工業數據主要來源於機器設備數據、工業資訊化數據，和產業鏈相關數據。

從數據採集的類型上看，不僅要涵蓋基礎的數據，還將逐步包括半結構化的用戶行為數據，網狀的社交關係數據，文本或音頻類型的用戶意見和反饋數據，設備和感測器採集的週期性數據，網路爬蟲獲取的網際網路數據，以及未來越來越多有潛在意義的各類數據。主要包括以下幾種：

1、海量的Key-Value數據。在感測器技術飛速發展的今天，包括光電、熱敏、氣敏、力敏、磁敏、聲敏、濕敏等不同類別的工業感測器在現場得到了大量應用，而且很多時候機器設備的數據，大概要到ms的精度，才能分析海量的工業數據。因此，這部分數據的特點，是每條數據內容很少，但是頻率極高。

2、文檔數據。包括工程圖紙、仿真數據、設計的CAD圖紙等，還有大量的傳統工程文檔。

3、資訊化數據。由工業資訊系統產生的數據，一般是通過數據庫形式儲存的，這部分數據是最好採集的。

4、接口數據。由已經建成的工業自動化或資訊系統，提供的接口類型的數據，包括TXT格式、JSON格式、XML格式等。

5、影像數據。工業現場會有大量的影像監控設備，這些設備會產生大量的影像數據。

6、圖像數據。包括工業現場各類圖像設備拍攝的圖片(例如，巡檢人員用手持設備拍攝的設備、環境資訊圖片)。

7、音訊數據。包括語音及聲音資訊(例如，操作人員的通話、設備運轉的音量等)。

8、其他數據。例如遙感遙測資訊、三維高程資訊等等。

數據採集的方法

傳統的數據採集方法包括人工登錄、問卷調查、電話隨訪等方式，大數據時代到來後，一個突出的變化是數據採集的方法有了質的飛躍，下面所介紹的數據採集方式的突破，直接改變著大數據應用的場景。

1、感測器

感測器是一種檢測裝置，能感受到被測量的資訊，並能將檢測感受到的資訊，按一定規律變換成為電信號，或其他所需形式的資訊輸出，以滿足資訊的傳輸、處理、儲存、顯示、記錄和控制等要求。

在生產線中一般存在許多的感測節點，24小時監控著整個生產過程，當發現異常時可迅速反饋至上位機，可以算得上是數據採集的感官接受系統，屬於數據採集的底層環節。

感測器在採集數據的過程中，主要特性是其輸入與輸出的關係。

其靜態特性反映了感測器在被測量各個值，處於穩定狀態時的輸入和輸出關係，這意味著當輸入為常量，或變化極慢時，這一關係就稱為靜態特性。我們總是希望感測器的輸入與輸出成唯一的對照關係，最好是線性關係。

一般情況下，輸入與輸出不會符合所要求的線性關係，同時由於存在這遲滯、蠕變等因素的影響，使輸入輸出關係的唯一性也不能實現。因此我們不能忽視工廠中的外界影響，其影響程度取決於感測器本身，可透過感測器本身的改善加以抑制，有時也可以加對外界條件加以限制。

2、RFID技術

RFID辨識技術是一種非接觸式的自動辨識技術，透過射頻信號自動辨識目標對象，並獲取相關的數據辨識。利用射頻方式進行非接觸雙向通信，達到辨識目的並交換數據。RFID技術可辨識高速運動物體，並可同時辨識多個標籤，操作快捷方便。

在工作時，RFID讀寫器透過天線，發送出一定頻率的脈衝信號，當RFID標籤進入磁場時，憑借感應電流所獲得的能量，發送出儲存在晶片中的產品資訊(Passive Tag，無源標籤或被動標籤)，或者主動發送某一頻率的信號(Active Tag，有源標籤或主動標籤)。

閱讀器對接收的信號，進行解調和解碼，然後送到後台主系統進行相關處理；主系統根據邏輯運算判斷該卡的合法性，針對不同的設定做出相應的處理和控制，發出指令信號控制執行機構動作。

RFID技術解決了物品資訊，與互聯網實現自動連接的問題，結合後續的大數據挖掘工作，能發揮其強大的威力。

數據採集技術難點

在當今的製造業領域，數據採集是一個難點。很多企業的生產數據採集，主要依靠傳統的手工作業方式，採集過程中容易出現人為的記錄錯誤，且效率低下。

有些企業雖然引進了相關技術手段，並且應用了數據採集系統，但是由於系統本身的原因，以及企業沒有選擇最適合自己的數據採集系統，因此也無法實現資訊採集的即時性、精確性和延伸性管理，各單元出現了資訊斷層的現象。

技術難點主要包括以下幾方面：

1、數據量巨大。任何系統，在不同的數據量面前，需要的技術難度都是完全不同的。

如果單純是將數據採到，可能還比較好完成，但採集之後還需要處理，因為必須考慮數據的規範與清洗，因為大量的工業數據是「髒」數據，直接儲存無法用於分析，在儲存之前，必須進行處理，對海量的數據進行處理，從技術上又提高了難度。

2、工業數據的協議不標準。網路數據採集，一般都是我們常見的HTTP等協議，但在工業領域，會出現ModBus、OPC、CAN、ControlNet、DeviceNet、Profibus、Zigbee等等各類型的工業協議，而且各個自動化設備生產及整合商，還會自己開發各種私有的工業協議，導致在工業協議的互聯互通上，出現了極大地難度。

很多開發人員在工業現場，實施綜合自動化等項目時，遇到的最大問題，即時面對眾多的工業協議，無法有效的進行解析和採集。

3、影像傳輸所需頻寬巨大。傳統工業資訊化，由於都是在現場進行數據採集，影像數據傳輸主要在局域網中進行，因此，頻寬不是主要的問題。

但隨著雲計算技術的普及及公有雲的興起，大數據需要大量的計算資源和儲存資源，因此工業數據逐步遷移到公有雲已經是大勢所趨了。但是，一個工業企業可能會有幾十路影像，成規模的企業會有上百路影像，這麼大量的影像文件，如何透過網露順暢到傳輸到雲端，是開發人員需要面臨的巨大挑戰。

4、對原有系統的採集難度大。在工業企業實施大數據項目時，數據採集往往不是針對感測器或者PLC，而是採集已經完成部屬的自動化系統上位機數據。

這些自動化系統在部署時，廠商水準參差不齊，大部分系統是沒有數據接口的，文檔也大量缺失，大量的現場系統沒有點表等基礎設置數據，使得對於這部分數據採集的難度極大。

5、安全性考慮不足。原先的工業系統都是運行在局域網中，安全問題不是突出考慮的重點。

一旦需要透過雲端調度工業之中，最為核心的生產能力，又沒有對安全的充分考慮，造成損失，是難以彌補的。

2015年，受網路安全事件影響的工業企業佔比達到30%，因病毒造成停機的企業高達20%。僅美國國土安全部的工業控制系統網路應急響應小組(ICS-CERT)，就收到了295起針對關鍵基礎設施的攻擊事件。439181219

工業數據採集方案案例

一、物聯網工業現場數據採集系統