Empowering Agritech via Big Data Analytics on Supercomputers 通過超級電腦上的大數據分析為 Agritech 賦能
重點
‧ 預計大數據,將對智慧農業產生重大影響,並涉及整個供應鏈。
‧ 智慧感測器和設備,產生大量數據,這些數據提供了前所未有的決策能力。
‧ 預計大數據將導致傳統和非傳統參與者,之間的角色和權力關係,發生重大變化。
‧ 治理(包括數據所有權、隱私、安全性)和業務模式,是未來研究中,要解決的關鍵問題。
本篇摘要
智慧農業是一項,強調在網路實體農場管理週期中,使用資訊和通信技術的發展。物聯網和雲端計算等新技術,有望利用這一發展,並在農業中引入更多的機器人和人工智慧。大數據現象包含了這一點,大數據是可以捕獲、分析,和用於決策的海量數據。
這篇綜述的目的,在深入瞭解智慧農業中,最新的大數據應用,並確定需要解決的,相關社會經濟的挑戰。遵循結構化方法,開發了分析的概念框架,該框架也可用於該主題的未來研究。
調查顯示,智慧農業中的大數據應用範圍,超出了初級生產;它正在影響整個食品供應鏈。
大數據正在用於提供,有關農業營運的預測性見解,制訂即時營運決策,並為改變遊戲規則的業務模式,重新設計業務流程。
因此,一些作者認為,大數據將導致當前食品供應鏈網路中,不同參與者之間的角色,和權力關係發生重大變化。利益相關者的格局展現了強大的科技公司、風險資本家,以及小型新創企業,和新進入者之間的有趣遊戲。
同時,有一些公共機構,在必須保證個人隱私的情況下,發佈公開數據。
智慧農業的未來,可能會在兩個極端情況的連續性中瓦解:
1)封閉的專有系統,其中農民是高度整合的食品供應鏈的一部分;
2)開放的協作系統,其中農民和其他利益相關者,參與其中鏈網路,在選擇業務合作夥伴,以及技術,以及食品生產方面,都非常靈活。數據和應用基礎結構(平台和標準)的進一步發展,及其機構嵌入,將在這些方案之間的戰鬥中,發揮非常重要的作用。
從社會經濟的角度來看,作者建議將研究重點,放在與治理問題有關的組織問題,以及在不同供應鏈場景中,進行數據共享的合適業務模型上。
關鍵字詞
農業數據資訊,和通信技術,數據,基礎設施治理,業務建模
1. 智慧農業簡介
隨著智慧機器和感測器,在農場上不斷湧現,並且農場數據的數量和範圍不斷擴大,耕種過程,將變得越來越由數據驅動,和啟用數據。物聯網和雲端計算的快速發展,推動了所謂的智慧農業現象。
雖然 Precision Agriculture 只考慮了現場可變性,但 Smart Farming 不僅透過基於位置的管理任務,還基於基於即時事件觸發的情境,和態勢感知增強的數據,來管理數據。
需要即時輔助重新配置功能,來執行敏捷動作,尤其是在突然改變操作條件,或其他情況(例如天氣或疾病警報)的情形下。這些功能通常包括在實施、維護和使用該技術方面的智慧協助。
圖1 總結了作為網路實體系統的整個管理週期中,智慧農場的概念,這意味著連接到 Internet 的智慧設備,正在控制農場系統。智慧設備透過添加各種感測器,內置智慧,能夠執行自主動作,或遠端執行此操作的,前後相關聯的感知功能,擴展了常規工具(例如雨量計、拖拉機、筆電)。
在此圖片中,已經暗示了機器人,可以在控制中發揮重要作用,但是可以預料,人們在分析和計劃中的作用,將越來越多地由機器來輔助,從而使網路實體週期,幾乎變得自治。
人類將始終參與整個過程,但越來越多地,以更高的情報水準參與其中,而大多數操作活動留給了機器。
圖1. 基於雲端的事件和數據管理,增強了智慧農業的網路實體管理週期。
大數據技術在此發展中,起著相當重要的互惠作用:機器配備了各種感測器,可測量環境中用於機器行為的數據。
從相對簡單的回饋機制(例如調節溫度的恆溫器)到深度學習算法(例如實施正確的農作物保護策略)都有所不同。透過與其他外部大數據源(例如天氣或市場數據,或其他農場的基準)相結合,來利用這一點。
由於該領域的快速發展,很難給出統一的大數據定義,但通常它是一個龐大或複雜的數據集的術語,以至於傳統數據處理應用不足。大數據需要一套,具有新的整合形式的技術,以揭示來自多樣化,複雜且大規模的數據集的見解。大數據代表著,具有如此高的數量,速度和多樣性的資訊資產,需要將其轉化為價值的特定技術和分析方法。
Data FAIRport 倡議,透過提供 FAIR 原則,來強調大數據的更多操作維度,這意味著數據應該是可查找、可訪問、可互操作,和可重用的。這也暗示了元數據的重要性,即「關於數據的數據」(例如時間、位置、使用的標準等)。
大數據和智慧農業,都是相對較新的概念。因此,人們期望它們的應用知識,及其對研究和開發的意義,不會廣泛傳播。
一些作者,將大數據和相關技術的出現,稱為可能無法實現的另一種技術炒作,另一些作者則認為大數據應用,可能已經超過了 Gartner 的「炒作週期」中的「過高預期峰值」。
這篇綜述的目的,在深入瞭解,與智慧農業相關的最新大數據應用,並確定未來將要解決的最重要的研發挑戰。
在回顧文獻時,要同時注意技術和社會經濟方面。但是,該領域的技術日新月異,而最新技術可能會在本文發表後不久過時。因此,分析主要集中在大數據對農場管理,及其周圍整個網路的社會經濟影響上,因為預計這將產生更持久的影響。
從這個角度來看,本次審查中要解決的研究問題是:
1. 大數據在智慧農業中,扮演什麼角色?
2. 哪些利益相關者參與其中,如何組織這些利益相關者?
3. 大數據開發將導致哪些預期的變化?
4. 與先前的問題有關,需要解決哪些挑戰?
後一個問題,可以視為未來的研究議程。
為了回答這些問題,並建構審查流程,已經開發了一個概念分析框架,該框架有望用於將來,對大數據和智慧農業發展的分析。
在本文的其餘部分中,將介紹審查文獻的方法(第 2 節)和框架(第 3 節)。然後,分析的主要結果,將在第 4 節中介紹。第 5 節總結了此次探討,並為進一步研究和採取行動,提供了建議。
2. 方法論
為瞭解決導言中,概述的研究問題,我們在 2010 年 1 月,至 2015 年 3 月期間,對文獻進行了調查。選擇回顧期是一個實際的選擇,並考慮到大數據是一個相當新的現象。
預計在 2010 年之前,不會有任何參考。除出版期間外,我們還使用兩種標準納入,進行文獻檢索:
1)全文發表; 2)與研究問題的相關性。使用了兩個排除標準:
1)以英語或中文以外的其他語言,發表的文章;
2)僅專注於技術設計的文章。
文獻調查,遵循系統的方法。這是透過三個步驟完成的。
第一步,我們使用兩組關鍵字的所有組合,搜索了兩個主要的書目數據庫,即 Web of Science 和 Scopus,其中第一組針對大數據(即大數據、數據驅動的創新、數據驅動的價值創造、網路)物聯網),第二組涉及農業(即農業、食品、農業食品、精準農業)。選擇這兩個數據庫,是因為它們廣泛地涵蓋了相關文獻,和先進的文獻計量功能,例如暗示了相關文獻或引文。
從這兩個數據庫中,檢索了 613 個同行評審的文章。透過辨識解決研究問題的文章,對這些文章進行了相關性掃描。在篩選文獻時,我們首先使用搜索功能,找到包含關鍵詞的段落,然後閱讀文本,以查看它們是否與研究問題相關。
篩選工作由四名研究人員完成,他們每個人都對大約 150 篇文章進行了評判,並透過參考管理軟體 EndNote X7,與其他人分享了他們的發現。
結果,有 20 個最相關,而 94 個最相關。其餘文章被認為是無關緊要的,因為它們僅與大數據或農業相切,因此被排除在進一步的閱讀和分析之外。
我們發現相關同行,評審文獻的數量不是很高,這可以解釋,因為大數據和智慧農業,是相對較新的概念。尤其是應用正在迅速發展,並且預計在同行評審的文章中,通常不會落在後面,而不會考慮這些應用。
因此,我們決定將灰色文獻,也納入我們的評論。為此,我們使用了 Google 學術搜索,和搜索引擎 LexisNexis,來製作英文報告、雜誌、布落格,和其他網路項目。
這產生了 3 份報告,225 條雜誌文章,319 個布落格和 19 個 Twitter 文章。319 個布落格中的每個發文,均根據其標題,和包含搜索詞的句子,進行了相關性評估。還刪除了可能的重複項。結果是一個簡短列表,其中包含 29 個經過進一步閱讀評估的布落格。
結果,已經考慮了 9 個布落格文,為我們的框架提供了相關資訊。 225 篇雜誌文章中的每篇文章,都根據其標題和包含搜索詞的句子,進行了相似性評估。
刪除重複項後,結果是 25 篇文章的簡短列表。然後,我們通讀了這 25 篇文章,以進行進一步評估。因此,有 9 篇文章被認為包含相關資訊,以供進一步分析。
在第二步中,我們詳細閱讀了選定的文獻,以提取與我們的研究問題相關的資訊。如果「最相關」的文獻,引用了在第一步中,未找到的其他文獻,那麼也會在此步驟中,將它們檢索出來。
這種「雪球」方法,產生了 11 篇其他文章和網路項目,還從中提取了相關資訊。第三步,按照第 3 節中所述的概念框架,對提取的資訊,進行分析和合成。
3. 概念框架
在本次審查中,開發了一個概念框架,以從社會經濟的角度為智慧農業中的大數據應用分析,提供問題和概念的系統分類。
這種應用的主要複雜性,在於它們需要在數據價值鏈中,扮演不同角色,許多不同利益相關者,之間進行協作。
因此,該框架借鑒了有關連鎖網路管理,和數據驅動策略的文獻。鏈網路被認為是由參與者組成的,這些參與者在垂直和水平方向上,共同為客戶增加價值。
連鎖網路的重要基礎,是「價值鏈」概念,它是一個相關聯的過程系統,每個過程都為服務產品增加價值。在大數據應用中,價值鏈是指從數據捕獲,到決策制訂,和數據行銷的一系列活動。
Lambert 和 Cooper 經常引用的有關網路管理的概念框架,包括三個緊密相關的元素:網路結構,業務流程和管理組件。網路結構由成員公司,和這些公司之間的鏈接組成。業務流程是為客戶產生特定價值輸出的活動。
管理組件是管理變量,透過這些管理變量,可以跨網路整合和管理業務流程。網路管理組件,進一步分為技術和組織組件。
出於我們的目的,該框架針對智慧農場中的大數據應用的網路量身訂制,如圖2 所示。
圖2. 文獻分析的概念框架
在此框架中,業務流程(下層)專注於大數據,在農業流程管理中的生成和使用。因此,我們將這部分細分為數據鏈、伺服器場域管理,和伺服器場域過程。數據鏈透過各種決策過程,與伺服器場域流程,和伺服器場域管理流程進行交互,其中資訊起著重要的作用。利益相關者網路(中間層)包括,這些流程中涉及的所有利益相關者,不僅是大數據的使用者,還包括專門從事數據管理,以及監管和政策參與者的公司。
最後,網路管理層代表網路中的組織和技術結構,這些組織和技術結構,有助於協調和管理利益相關者,網路層中的參與者所執行的過程。網路管理(上層)的技術組件,側重於支持數據鏈的資訊基礎架構。
組織組件,側重於數據鏈的治理和業務模式。最後,可以確定幾個因素,作為智慧農業中,大數據發展的關鍵驅動力,因此,從這一發展中可以帶來挑戰。
接下來的小節,將對框架的業務流程層,和網路管理層的每個子組件進行更詳細的描述。
3.1. 農場過程
業務流程是一組為實現定義的業務成果,而執行的與邏輯相關的任務。業務流程可以細分為主要業務流程,和支持業務流程。主要業務流程是涉及產品創建,產品行銷和交付給買方的流程。
支持業務流程有助於開發,佈署和維護主要流程所需的資源。農業生產的業務流程,在不同類型的生產之間,存在顯著差異,例如畜牧業、耕種業和溫室栽培。
一個共同的特徵,是農業生產取決於自然條件,例如氣候(日長和溫度)、土壤、病蟲害、疾病和天氣。
3.2. 農場管理
即使發生干擾、管理或控制流程,也可確保實現業務流程目標。控制的基本思想,是引入一種控制器,該控制器可測量系統行為,並糾正測量結果,是否不符合系統目標的情況。
基本上,這意味著它們必須具有一個回饋迴路,其中存在規範、感測器、鑑別器、決策者和效應器。因此,基本的管理功能是(另請參見圖1):
.感測和監控:衡量農場過程的實際績效。這可以由人類觀察者手動完成,也可以透過使用,諸如感測器或衛星之類的感測技術自動完成。此外,可以獲取外部數據,以補充直接的觀察結果。
.分析和決策:將測量結果與指定所需性能的規範進行比較(涉及數量、品質和交貨時間方面的系統目標),發出偏差信號,並決定採取適當的干預措施,以消除發出信號的干擾。
.干預:計劃和實施選定的干預措施,以糾正農場過程的績效。
3.3. 數據鏈
數據鏈是指,從數據捕獲到決策制訂,和數據行銷的一系列活動。它包括為伺服器場管理管理數據所需的所有活動。圖3 說明瞭此鏈中的主要步驟。
圖3.基於 Chen 等人的大數據應用的數據鏈。
作為業務流程不可或缺的一部分,數據鏈必須包含一個技術層和一個業務層,該技術層捕獲原始數據,並將其轉換為資訊,而該業務層可以決策,並從提供的數據服務和商業智慧中獲取價值。這兩層可以在每個階段交織在一起,它們共同構成了後來被稱為「數據價值鏈」的基礎(表1)。
表1.技術和業務層上數據鏈的關鍵階段。
3.4. 網路管理組織
網路管理組織處理涉眾的行為,以及如何影響它,以實現業務流程目標。對於大數據應用的接受和進一步開發,兩個相互依賴的方面被認為是相關的:治理和業務模式。治理涉及規範利益相關者網路內,合作的正式和非正式安排。
大數據管理的重要安排,包括關於數據可用性、數據品量、數據訪問、安全性、責任、責任、數據所有權,隱私和成本分配的協議。可以區分網路治理的三種基本形式:管理自由裁量權、標準化和相互調整。這些形式與 Provan 和 Kenis(2008)提出的三種網路治理形式相對應:牽頭組織管理的網路,網路管理組織和共享參與者管理的網路。
選擇一種特定的網路治理結構的目的在於,以使交易成本最小化的方式,減輕在不同締約方之間發現的所有形式的合同風險。在研究諸如供應鏈網路之類的組織混合形式時,應確定兩個主要方面:決策權的分配,即誰有權在供應鏈網路內做出策略決策,以及目的在獎勵員工的組織間機制。期望的行為和預防不期望的行為(風險和獎勵機制)。
儘管就業務模式對組織成功的重要性達成了共識,但該概念仍然模糊且模糊,並且在組織構成方面幾乎沒有共識。Osterwalder 將業務模式定義為「…一種概念工具,其中包含一組元素及其之間的關係,並可以表達公司的賺錢邏輯」。
它描述了企業為一個或幾個客戶群提供的價值,以及公司的體系結構,以及其合作夥伴網路的創建,行銷和交付此價值和關係資本,以產生可盈利和可持續的收入流。 」
該定義反映了所謂的以企業為中心的業務模式視圖。關於商業模式的另一種觀點,是以價值網路理論為基礎的,以網路為中心的商業模式。價值網路理論同時考慮了商業交易,和交易的財務,和非財務價值。兩種視圖都與大數據應用的網路管理有關。
3.5. 網路管理技術
網路管理技術,包括為充分使用和必要而使用的所有電腦、網路、外圍設備、系統軟體、應用包(應用軟體)、過程、技術、資訊和通信標準(參考資訊模式以及編碼和消息標準)等。組織過程中,組織間控制中的數據管理。這裡要提到的組件包括:
‧ 儲存在共享數據庫中的數據資源,以及對其內容的共享理解(數據庫的共享數據模式)。
‧ 允許我們使用和維護,這些數據庫的資訊系統和服務。資訊系統用於使用活動、設施、方法和程序,來處理執行有用活動所需的資訊。
‧ 與共享數據庫連接的整套正式的編碼和消息標準(在技術上和內容上)以及相關的使用程序,這對於允許食品供應鏈網路中,業務的合作夥伴之間,實現無縫且無差錯的自動化通信,是必不可少的。
‧ 必要的技術基礎架構。如果我們沒有連接的電腦群(不能使用網路、數據庫、通信和應用伺服器,以及所有相關的外圍設備,則不能使用上述連接的電腦群(個人員工的工作站或受網路和數據庫、通信和應用伺服器,以及所有相關外圍設備影響的人員)) 。
4.結果
4.1. 智慧農業中大數據的驅動力
將大數據技術和方法應用於農業的趨,已經成為一種重要的趨勢,認為這是應用技術棧,進行投資以及在農業食品領域實現附加價值的主要機會。
農業中的大數據應用,並非嚴格地與初級生產有關,而是在提高整個供應鏈的效率和減輕糧食安全方面起著重要作用。
目前,文獻中討論的大數據應用,主要發生在歐洲和北美。然而,考慮到文獻中越來越多的關注和濃厚的興趣,預計在中國等其他國家,申請的數量會迅速成長。
大數據是深度、高級、改變遊戲規則的業務分析的重點,其規模和速度,使得不再將舊的,將其全部複製和清理,到數據倉庫中的方法,視為合適的方法。
大數據在農業中的應用機會,包括基準測試、感測器佈署和分析、預測建模,以及使用更好的模式,來管理農作物歉收風險,並提高牲畜生產的飼料效率。
總之,大數據將為農業的未來成果,提供預測見解(預測產量模式,預測飼料攝入模式等),制訂即時營運決策,並重塑業務流程,以實現更快、創新的行動,和改變遊戲規則的業務模式。
未來的決策,將是人為因素和電腦因素的複雜結合。大數據有望導致農業範圍和組織的變化。儘管人們懷疑,農民的知識是否會被算法取代,但大數據應用,可能會改變農場的經營和管理方式。變更的關鍵領域是即時預測,實體項目追踪和重塑業務流程。像 1950 年代,隨著拖拉機的廣泛採用,和殺蟲劑的引入,大數據的廣泛採用,可能以未經探索的方式,改變農業結構和更廣泛的食物鏈。
與許多技術創新一樣,智慧農業中,大數據應用所發生的變化,是由推挽機制驅動的。拉動,因為需要新技術,來實現某些目標。推動,因為新技術使人們或組織,可以實現更高或新的目標。這將在接下來的小節中詳細說明。
4.1.1. 拉動因素
從商業角度看,農民正在尋找途徑來提高利潤率和效率,一方面尋找降低成本的方法,另一方面尋找產品的更好價格。因此,他們需要做出更好,更優化的決策並改善管理控制。
過去,諮詢服務是基於常識,而常識是從研究實驗中獲得的,但是,對於在農場中根據當地特定情況,生成的資訊和知識的需求,也在不斷成長。
預計大數據技術,將以更好的方式幫助實現這些目標。農業的一種特殊情況,是天氣的影響,尤其是其波動性。
當地特定的天氣和氣候數據,可以極大地幫助決策。由於農業食品生產中的各種法規,一般的驅動因素可能是文書工作的減輕。
從公眾的角度來看,人們經常提到全球糧食安全,是進一步技術進步的主要推動力。此外,消費者越來越關注與健康和福祉,相關食品的安全和營養方面。
關於這一點,Tong 等,提到了對預警系統的需求,而不是目前對歷史數據進行的事後分析。
總之,此框架現在提供了一組連貫的元素,來描述和分析智慧農業中大數據的發展。結果將在下一部分中提供。
4.1.2. 推動因素
物聯網(IoT)是一個普遍的未來發展,其中各種設備 – 智慧對象 – 透過本地和全球(通常是無線網路)基礎結構連接,並相互交互。精準農業可以被視為這一發展的指標,並且經常被認為是大數據的重要推動力。
預計這將導致農場管理,發生根本性的變化,因為獲得了以前在技術上或經濟上,都不可能實現的明確資訊和決策能力。結果,許多農業科技公司的興起進一步推動了這種以數據為驅動力的發展。
無線數據傳輸技術,還允許農民從任何地方,訪問他們的個人數據,無論是在農場,還是與芝加哥的買家見面,使他們能夠做出有關作物產量、收割,以及如何最好地將其產品,推向市場的明智決定。
表2 概述並總結了,推動大數據和智慧農業發展的推動因素。
表2.推動大數據和智能農業發展的推動因素和推動因素摘要。
4.2. 業務流程
4.2.1. 農場過程
眾所周知,農業大數據具有高度異質性。數據的異質性,例如涉及收集的數據的主題(即,有關數據的內容),以及生成數據的方式。從田間或農場收集的數據,包括有關種植、噴灑、材料、產量、季節圖像、土壤類型、天氣和其他實踐的資訊。數據生成通常分為三類:( i)過程介導的(PM),(ii)機器生成的(MG)和(iii)人源的(HS)。
PM 數據(或傳統的業務數據)是由農業過程產生的,該過程記錄並監控相關的業務事件,例如購買投入物、飼料、播種、施肥、下訂單等。PM 數據通常是高度結構化的,包括交易,參考表和關係,以及定義其前後關聯的元數據。在業務和業務資訊系統中,傳統業務數據是 IT 部門所管理和處理的絕大多數,通常在關係數據庫系統中,進行結構化和儲存。
MG 數據來自用於測量和記錄,耕種過程的大量感測器和智慧機器;目前,所謂的物聯網(IoT)推動了這一發展。MG 數據範圍,從簡單的感測器記錄,到複雜的電腦日誌,並且通常結構良好。隨著感測器的激增和數據量的成長,它已成為儲存和處理的農業資訊中,越來越重要的組成部分。它結構良好的性質適合於電腦處理,但其大小和速度卻超出了傳統方法。對於智慧農業,人們已經充分認識到無人機的潛力。
配備紅外線攝影機和 GPS 技術的無人機,透過支持更好的決策和風險管理,而正在改變農業。在畜牧業中,聰明的奶牛場正在用機器人,代替勞動力來餵養奶牛,清潔穀倉和擠奶。在耕地上,越來越多的人使用精密技術,來管理田間每棵植物的資訊。使用這些新技術,數據不僅會出現在傳統表格中,還會以其他格式出現,例如聲音或圖像。
同時,已經開發了一些先進的數據分析技術,這些技術可以觸發使用圖像,或其他格式的數據。數據是人類經驗的記錄,以前是記錄在書籍和藝術品中,後來是照片、聲音和影像。
現在,從個人獲取的資訊,幾乎已完全數位化,並儲存在從個人電腦到社交網路的任何地方。
HM 數據通常結構鬆散,通常不受監管。在大數據和智慧農業的背景下,除了與行銷有關的方面外,很少討論以人為來源的數據。在收集相關社交媒體數據,以及從多種來源,對這些數據進行語義整合方面,能力有限被認為是一項重大挑戰。
表3 概述了與關鍵農業部門中智慧農業的不同要素,相關的當前大數據應用。
表3. 不同智能農場流程中大數據應用/方面的示例(參見圖1)。
從業務角度看,大數據價值鏈中的主要數據產品是(預測性)分析,可為各個級別的業務流程,提供決策支持。感測器數據或類似數據的使用,或分析必須以某種方式,適合現有或重新發明的業務流程。首先,必須使用多種工具整合來自各種,傳統和新來源的數據。
4.2.2. 農場管理
正如大數據觀察家所指出的:無論大小,大數據仍然是數據。必須對其進行管理和分析,以提取其全部價值。無線網路、物聯網和雲端計算的發展,基本上只是獲取數據和生成大數據的手段。大數據的最終用途,是獲取由大數據體現,或支持的資訊或情報。沒有大數據分析,農業大數據將沒有真正的價值。
為了獲得大數據分析,需要將來自不同來源的數據,整合到「數據潟湖」中。在此過程中,由於數據中的錯誤和重複,可能會引起數據品質問題。如圖4 所示,可能需要對原始數據進行一系列操作以確保數據品質。
圖4. 農業大數據智慧處理流程圖。
自從大規模數據收集,或倉庫問世以來,所謂的數據豐富,資訊貧乏(DRIP)問題,已經普遍存在。大數據方法減輕了 DRIP 的難題,該方法以支持明智的(但不一定是有根據或有效的)決策,或選擇的方式釋放了資訊。因此,透過在一定程度上,克服數據量方面的數據品質問題,按需雲端計算解決數據訪問限制,利用相關數據分析,進行因果關係分析,以及利用證據驅動的應用,進行模式驅動。
大數據本身可以提供「 a-ha」洞察力,但只有與傳統數據管理和治理流程,完全整合時,它才能可靠地提供長期業務優勢。大數據處理依賴於傳統的,過程介導的數據和元數據,來創建充分有意義的使用所需的前後關聯和一致性。大數據處理的結果,必須回饋到傳統業務流程中,以實現業務的變化和發展。
4.2.3. 數據鏈
正如文獻中經常討論的那樣,大數據應用需要解決各種各樣的問題。在數據鏈的不同階,段都可能出現技術和治理問題,在數據鏈的後期階段,治理挑戰變得越來越佔主導地位。
表4 總結了智慧農業中,大數據應用的最新功能,以及文獻中發現的,與大數據鏈各個階段,相對應的關鍵問題。在初始階段,有關數據格式,硬體和資訊標準的技術問題,可能會影響大數據的可用性,以進行進一步分析。在後期階段,治理問題(例如就責任和義務達成協議)對業務流程變得更具挑戰性。
表4.智慧農業中大數據應用的現狀和關鍵問題。
4.3. 利益相關者網路
鑑於大數據和智慧農業帶來的技術變化,我們試圖瞭解農場周圍的利益相關者網路。報導顯示,現有農業食品鏈中,不同參與者之間的角色和權力關係,發生了重大變化。我們觀察到新舊軟體供應商,在大數據和農業方面的角色正在變化,以及數據驅動計劃的新興格局,在諸如 Google 和 IBM 這樣的大技術,和數據公司中扮演著重要角色。 在圖 5 中,可視化了數據驅動計劃的當前狀況。
圖5.具有業務參與者的大數據網絡的格局。
利益相關者網路,展現出高度的動態性,新參與者取代了其他參與者所扮演的角色,而在位者則在農業大數據方面,承擔著新角色。隨著農業綜合企業中,出現大數據的機會,孟山都和約翰·迪爾等大型農業公司,已經在技術上投入了數億美元,這些技術利用有關土壤類型,種子品種和天氣的詳細數據,來幫助農民削減成本並增加產量。其他參與者包括各種加速器、孵化器、風險投資公司和企業風險基金(孟山都、杜邦、先正達、拜耳、陶氏等)。
從氣候預測到基因工程,孟山都一直在推動,其所有業務領域的大數據分析。它試圖說服更多的農民,採用其雲端服務。孟山都公司說,當農民讓公司與其他農民一起分析數據時,他們會從中受益最大,這可以幫助他們為每片土地找到最佳解決方案。
儘管企業非常重視大數據和農業,但新創企業才是行動的核心,它提供了整個價值鏈的解決方案,從基礎設施和感測器,一直到管理整個農場中,許多數據流的軟體。隨著農業科技領域的升溫,越來越多的小型科技新創企業正在推出產品,從而為規模較大的同行,提供了賺錢的機會。
在美國,像 FarmLogs、FarmLink 和 640 Labs 這樣的新創企業,挑戰孟山都、迪爾、杜邦等先鋒農業綜合企業巨頭。人們觀察到大量的數據服務,新創企業,例如 FarmBot(一個整合的開源精確農業系統)和 Climate Corporation。他們的產品由許多相同的數據源提供支持,尤其是那些免費提供的數據源,例如來自氣象服務和 Google Maps 的數據源。
他們還可以訪問,由農場機器收集並用無線傳輸到雲端的數據。NEC 和 Dacom 等傳統的農業 IT 公司,在羅馬尼亞進行了精準農業試驗,該試驗使用環境感測器和大數據分析軟體來最大化產量。
風險投資公司,現在熱衷於投資農業技術公司,例如 Blue River Technology,該公司專注於在農業中思,使用電腦視覺和機器人技術。智慧農業的新參與者,是傳統上不活躍於農業的科技公司。例如,富士通(Fujitsu)等日本科技公司,正在透過基於雲的農業系統幫助農民。
富士通透過遍布全國的攝影機和感測器網路收集數據(降雨、濕度、土壤、溫度),以幫助日本農民更好地管理其作物和支出。隨著大數據,兌現其從根本上改變生產者競爭力的承諾,數據處理專家,可能會成為生產者的合作夥伴。
除了企業和新創企業之類的業務參與者之外,還有許多公共機構(例如大學、USDA、美國農業局聯合會、GODAN)透過倡導開放數據和數據驅動,來積極影響農業中的大數據應用。創新或他們對與數據所有權和隱私問題,有關的治理問題的重視。
著名的例子是大數據聯盟,開放農業數據聯盟(OADA)和AgGateway。例如,美國農業部(USDA)等公共機構希望利用連接的農業設備、無人機,甚至衛星創建的農業數據點的力量,以實現精準農業,實現諸如糧食安全和可持續性等政策目標。精確農業被認為是「聖杯」,因為它是解決糧食供需不平衡的手段。為了達到該精度,農民需要大量數據來告知其種植策略。
這就是為什麼 USDA 在大型的開放數據項目上,進行投資的原因。預計開放數據和大數據將結合在一起,為農民和消費者,提供正確的資訊,以做出最佳決策。
4.4. 網路管理
4.4.1. 組織
在討論由智慧機械(例如約翰·迪爾(John Deere)的拖拉機)產生的農業大數據的治理時,數據所有權是一個重要問題。尤其是,精準農業數據的價值和所有權,在商業媒體中受到了很多關注。在農民和農業技術提供者之間,簽署關於所有權和控制數據的大數據協議,已成為一種慣例。這些協議解決了以下問題:農民如何利用大數據?數據來自哪裡?我們可以收集多少數據?它存儲在哪裡?我們如何利用它?誰擁有這些數據?哪些公司參與數據處理?
解決隱私和安全問題的計劃也越來越多。例如,大數據聯盟是美國主要農業組織,和農業技術提供商的聯盟,它制訂了以下原則:數據所有權、數據收集、通知、第三方訪問和使用、透明性和一致性、選擇、可移植性、數據可用性、市場投機、責任和安全保障措施。
AgGateway 是一個非營利組織,在美國擁有 200 多家成員公司,該公司已繪製了一份白皮書,介紹了整合數據隱私和標準的方法。它為伺服器場數據的使用者,及其客戶提供了在建立使用該數據的策略,過程和協議時要考慮的問題,而不是設置原則和隱私規範。
大數據聯盟的「所有權原則」指出:「我們相信農民擁有,有關其農業經營活動的資訊。但是,農民有責任就數據的使用達成共識,並與其他利益相關者共享(...)。」在擔心數據所有權的同時,農民還可以看到,有多少公司在大數據上進行了投資。
2013 年,孟山都公司以近 10 億美元的價格收購了 The Climate Corporation,並且有望實現更多的行業整合。農民也希望確保他們也從大數據中獲利。這種思維上的改變,可能會導致新的業務模式,該業務模式,允許從數據中共享價值的收穫。
智慧農業中的大數據應用,可能會引發許多與電源相關的問題。可能有一些新興公司,因為獲得了所有數據,而獲得了更大的權力。在農業食品鏈中,這些可能是投入的供應商或商品交易商,從而導致市場地位的進一步權力轉移。這種權力轉移,也可能導致潛在的數據濫用,例如由基因改生物遊說組織,農產品市場或公司操縱引起的。
最初,這些威脅可能並不明顯,因為對於許多應用而言,幾乎沒有任何力量的小型新創公司會參與其中。但是,通常的商業慣例是,如果成功,大公司就會收購這些公司,這樣,數據仍會集中在一個大公司手中。例如,Gilpin 得出結論,大數據既是巨大的機會,也是對農民的潛在威脅。
4.4.2. 技術
為了使大數據應用,可以用於智慧農業,適當的技術基礎架構,是必不可少的。儘管我們在文獻中,找不到有關二手基礎設施的大量資訊,但是可以預期,圖5 中的 AgTech 和 AgBusiness 公司的應用,基於通常由大型軟體供應商提供的現有基礎設施。
這產生了幾個專有平台,例如 AGCO 的 AgCommand、John Deere 的 FarmSight,或 Monsanto 的 FieldScripts。最初,這些平台非常封閉,很難與其他第三方連接。但是,他們逐漸意識到,自己的系統是大系統的一部分,從而產生了更加開放的平台,在這些平台中,可以透過開放的應用編程接口(API)訪問數據。
技術和數據新創企,業主要依靠開放標準(例如 ISOBUS ),透過這些標準,他們可以合併不同的數據集。此外,Farmobile 最近推出了一種硬體,即被動上行鏈路通信器(PUC),它可以將所有機器數據捕獲到,可以無線傳輸的數據庫中。
在北美,採取了一些舉措,來開放多個平台,和設備之間的數據傳輸。ISOBlue 項目透過開發開源硬體平台和軟體庫,將 ISOBUS 消息轉發到雲端,並開發適用於 Android 智慧手機的應用程序,促進了數據獲取。
Open Ag Toolkit(OpenATK)致力於提供專門的農場管理資訊系統,該系統整合了低成本,廣泛可用的行動計算技術,基於網路的雲端儲存服務,以及以使用者為中心的設計原則。
Trello 是 OpenATK 中,候選的基於網路的雲端儲存服務之一,它也是 Ault 等人所倡導的。他們強調了在農場內的幾名工人,或農場外的利益相關者之間,輕鬆共享數據記錄的能力,並保證了農民數據的長期所有權。
在歐洲,未來網路計劃中,為實現數據交換,和協作的開放基礎設施,而進行了許多工作。該計劃的重點是實現一組通用使能器(GE),例如雲端託管、數據和前後關聯管理服務、物聯網服務、安全性和大數據分析,這對於稱為 FIWARE 的所有不同領域的,所有未來 Internet 應用,都是共有的。
Smart AgriFood 基於這些 FIWARE,GE 為農業食品領域的未來,在 Internet 應用提出了一種概念架構。FIspace 項目將該架構,實現為一個真正的業務協作平台,如圖6 所示。
圖6. 基於 FIWARE GE 的 FIspace 體系結構的高級示意圖。 文字中的進一步說明。
FIspace 使用 FIWARE GE 啟動器(GE),但具有兩個特定的業務協作擴展:App Store 和即時 B2B協作核心。這些關鍵組件與其他幾個模組連接在一起,以實現系統整合(例如,與 IoT 整合),以確保業務協作中的安全性、隱私性和信任度;以及一個操作環境和軟體開發套件,以支援 FIspace 可以在其中儲存應用的「生態系統」可以開發。
FIspace 平台可透過各種類型的前端(例如,Web 或智慧手機)進行訪問,但也可以進行直接的 M2M 通信。
由於所有提到的開放平台,都是最近的項目產生的,因此它們面臨的挑戰,仍然是如何被廣泛採用。對於 FIspace 平台,FIWARE 加速器計劃1進行了首次嘗試,其中數百家新創公司獲得了資金,來開發應用 app 和服務,並獲得了業務支持。他們中的一些人已經成功地,從私人投資者那裡,獲得了更多的資金,但是要確定該計劃的最終成功率,還為時過早。
4.5. 挑戰性
文獻中發現的大數據和智慧農業挑戰,可大致分為技術和組織挑戰,後者被認為是最重要的。此外,如果可以為智慧農業中的大數據,創造足夠的商機,那麼大多數技術挑戰將得到解決,因此需要有明確的投資報酬率。
在收入方面,要使農民,尤其是發展中國家的農民,能負擔得起的解決方案是一個挑戰。如果會有更多的大數據應用使用者,它將導致轉向更有價值的數據,通常被稱為大數據的倒數。這是一個非常重要的功能,需要在公司的策略中仔細實施。
在成本方面,挑戰在於如何以幾乎沒有成本的方式,實現數據採集的自動化。由於場上數據通常將由各個公司掌握,因此需要在通用池基礎結構中進行投資,以傳輸和整合數據,並最終使用其中的應用。
Poppe 將其稱為「農業商業合作與數據交換設施(ABCDEF)」。關於這些 ABCDEF 的一個重要問題,是它們是否將是封閉的,專有的系統(例如當前的孟山都公司的 FieldScripts),或者它們是否會像例如 1991 年所提議的那樣更加開放。OpenATK 或 FIspace 平台。最後,與業務相關的大數據挑戰,是如何利用整個食品系統中的資訊潛力。
大數據治理的最大挑戰之一,可能是如何確保隱私和安全。當前,由於此問題,有時當數據處於孤島中時,這種發展會受到阻礙,這些數據處於由員工或公司保護的孤島中。他們擔心數據會落入錯誤的手中(例如競爭對手)。
因此,特權訪問大數據和建立與農民之間的信任,應該是開發應用的起點。因此,需要在農業食品鏈中,形成新的組織聯繫和協作模式。換句話說,這意味著能夠快速訪問正確的數據源,以評估關鍵績效/核心流程和成果指標,從而制訂成功的成長策略。
所有上述挑戰,使得當前農場數據的當前利用率不足。另一個問題,是數據的可用性和品質通常很差,需要加以確保才能使用。
據報導,缺乏整合也是一個重要問題。數據匿名化,以至於無法追溯到單個公司,有時也會是一個問題。也有嘗試包括更多公開的政府數據(參見 GODAN 倡議),但問題可能在於底層系統從未為此而設計,或者它們包含許多不一致,不相容的數據。
5. 結論和建議
本文對智慧農業中的大數據應用,進行了文獻綜述。在第二部分中得出的結論是,目前在同行評審的科學期刊中,沒有太多參考文獻。因此,不可能進行可靠的定量分析。此外,灰色文獻的發現,可能缺乏科學嚴謹性,這是同行評審期刊文章所期望的。
但是,由於灰色文獻中的文章是公開可用的,因此可以將它們視為受到公眾審查的對象,因此是合理可靠的。因此,我們認為知識庫中充斥著灰色文獻中的文章。此外,在開發分析框架方面,付出了很大的努力,該框架可透過更定量的方法,用於將來的審查。
基於本文的發現,可以得出有關智慧農業中大數據應用程序的最新結論的幾個結論。首先,智慧農業中的大數據仍處於早期開發階段。這是基於這樣一個事實,即有關此主題的科學出版物很少,而且許多資訊都必須來自「灰色文獻」。
討論的應用程序主要來自歐洲和北美,預計其他國家/地區的應用也會越來越多。考慮到審查的範圍,在這項研究中沒有進行地理分析。下面將詳細闡述,作為對我們在導言中,提出研究問題的答案,做為結論。
大數據在智慧農業中,扮演什麼角色?
大數據透過推拉機制,正在改變農業的範圍和組織。大數據應用試圖解決諸如食品安全、永續性,以及由此帶來的效率提高等全球性問題。這些問題使得大數據應用的範圍,遠遠超出了單獨的農業領域,而是涵蓋了整個供應鏈。物聯網的發展,無線連接了農業和供應鏈中的各種物體和設備,正在產生許多可以即時訪問的新數據。這適用於網路實體管理週期的所有階段(圖1)。
營運和交易,是流程中介數據的最重要來源。感測器和機器人,還生成非傳統數據,例如圖像和影像,它們提供了許多機器生成的數據。社交媒體是人類數據的重要來源。這些大量的數據提供了對顯式資訊和決策能力的訪問,而這是以前無法做到的。
分析,是成功利用這些數據創造價值的關鍵成功因素。許多新興的創新型新創公司,都渴望向農民出售,和佈署各種應用,其中最重要的應用與感測器佈署、基準測試、預測模型和風險管理有關。
哪些利益相關者參與其中,如何組織這些利益相關者?
參見圖5,首先是農業的傳統參與者,例如投入物供應商和技術供應商,對於它們來說,顯然已經將大數據,作為其最重要的商業模式。他們中的大多數人,都在向農民推銷自己的平台和解決方案,儘管觀察到向開放性發展的趨勢,但這通常是專有的且相當封閉的環境。
農民(由合作社或聯盟組織起來)激發了這一點,他們關注數據的隱私和安全性,還希望利用自己的數據創造價值,或者至少希望從大數據解決方案中受益。除了傳統的參與者,我們看到大數據也吸引了許多新進入者,這些新進入者通常是由大型私人投資者,或大型 ICT 或非農業科技公司所支持的新創企業。公共機構還致力於開放可與私人數據結合的公共數據。
這些發展帶來了圍繞數據所有權、數據價值,以及隱私和安全性的問題。大數據解決方案的體系結構和基礎架構,也極大地決定了利益相關者網路的組織方式。
一方面,存在趨向於封閉的專有系統的趨勢,另一方面,趨向於基於開源、標準和接口的更加開放的系統。因此,大數據應用的進一步開發,可能會導致供應鏈出現兩種極端情況:一種是將農民變成特許經營者的供應鏈進一步整合。
另一種方式是,農民獲得大數據的支持和開放式協作,可以輕鬆地在供應商之間切換,與政府共享數據,並參與短供應鏈,而不是整合的長供應鏈。
實際上,情況將是這兩種極端情況之間的連續體,這兩種極端情況是根據作物、商品、市場結構等來區分的。
大數據開發將導致哪些預期的變化?
從這篇探討可以得出的結論,大數據將導致智慧農業的範圍和組織,發生重大變化。以前所未有的規模和速度,進行業務分析,將成為真正的遊戲規則改變者,不斷重塑新的業務模式。
參照圖1,可以預期,透過訪問即時數據、即時預測,和跟蹤實體項目,以及結合物聯網開發,進一步實現農場的自動化和自主運行,農場管理和營運將發生巨大變化。
考慮到先前的研究問題,已經很明顯的是,大數據還將導致大數據農業利益相關者網路中,不同參與者之間的權力關係發生重大變化。但是,當前的開發階段,尚未揭示將針對哪種,主要方案開發智慧農業。
與先前的問題有關,需要解決哪些挑戰?
表4 中已經列出了一長串關鍵問題,但是最重要的是
‧ 數據所有權,以及相關的隱私和安全性問題 - 必須妥善解決這些問題,但是如果應用得過於嚴格,則會減慢創新速度;
‧ 數據品質 – 一直是農場管理資訊系統中的關鍵問題,但是對於大型即時數據,則更具挑戰性;
‧ 智慧處理和分析 – 對於大數據而言,這也更具挑戰性,因為大量通常是非結構化,異構的數據需要熟練的數據科學家,和領域專家之間的智慧互動;
‧ 大數據源的可持續整合 – 整合許多不同的數據源具有挑戰性,但是由於這對於你的業務模式非常重要,因此必須以可持續的方式完成;
‧ 對解決方案提供商具有吸引力的業務模式,但也可以使不同的利益相關者之間公平共享;
‧ 平台的開放性,將總體上加快解決方案的開發和創新,同時也可以增強農民在供應鏈中的地位。
分析框架是從鏈網路的角度開發的,並特別關注所涉利益相關者之間的網路管理。在未來的研究中,從更廣泛的創新角度,看待這一主題,也可能是有價值的。對於諸如大數據這樣的創新的道德方面,未來的研究也可以解決。
大數據在農業中的前景是誘人的,但是要提高對大數據應用的使用,必須應對上述挑戰。儘管肯定有一些技術問題需要解決,但我們建議你,首先關注已發現的治理問題,並設計合適的業務模式,因為這些問題,目前是最不利的因素。
按此回今日3S Market新聞首頁
沒有留言:
張貼留言