Edge Computing Platform
來源:物聯網智庫 作者:iot101君
邊緣計算是在靠近物或數據源頭的網路邊緣側,融合網路、計算、儲存、應用核心能力的開放平台。邊緣計算與雲計算互相協同,共同助力各行各業的數位化轉型。
它就近提供智慧互聯服務,滿足行業在數位化變革過程中,對業務即時、業務智慧、數據聚合與互操作、安全與隱私保護等方面的關鍵需求。
它就近提供智慧互聯服務,滿足行業在數位化變革過程中,對業務即時、業務智慧、數據聚合與互操作、安全與隱私保護等方面的關鍵需求。
根據國際電信聯盟電信標準分局ITU-T的研究報告,到2020年,每個人每秒將產生1.7MB的數據,IoT可穿戴設備的出貨量,將達到2.37億。
IDC也發佈了相關預測,到2018年,50%的物聯網網路將面臨網路頻寬的限制,40%的數據需要在網路邊緣側分析、處理與儲存,到2025年,這一數字將超過50%。
IDC也發佈了相關預測,到2018年,50%的物聯網網路將面臨網路頻寬的限制,40%的數據需要在網路邊緣側分析、處理與儲存,到2025年,這一數字將超過50%。
圖1:邊緣計算與雲計算的關係
一、邊緣計算的巨大價值
美國部署了3000餘萬個監控攝影機,每周生成超過40億小時的海量影像數據。物聯網領域擁有海量的終端設備,如果這些設備產生的數據聚在一起,會是個天文數字。
海量數據的分析與儲存,對網路頻寬提出了巨大的挑戰,而邊緣計算的誕生,就是為瞭解決這一問題。
圖2:邊緣計算的特徵
1).分布式和低延遲計算
雲計算往往並不是最佳策略,計算需要在更加靠近數據源的地方執行。這個優點可以擴展到,任何基於Web的應用程序上:包括 Foursqure和Google Now在內的APP,能更快的做出回應,所以在行動用戶中,變得越來越受歡迎。這說明在更靠近用戶的邊緣節點上,邊緣計算可以用於改進服務。
圖3:數據傳輸需要時間和代價,邊緣計算提供高效、低成本的數據處理
許多數據流由邊緣設備生成,但是通過「遠處」的雲計算處理和分析,不可能做出即時決策。
例如使用可穿戴式攝影機的視覺服務,回應時間需要在25ms至50ms之間,使用雲計算會造成嚴重的延遲;再比如工業系統檢測、控制、執行的即時性高,部分場景即時性要求在10ms以內,如果數據分析和控制邏輯全部在雲端實現,則難以滿足業務要求;還有那些會生成龐大數據流的多媒體應用,如影像或是基於雲平台的網路遊戲,依賴雲計算,也會為玩家造成類似於等待時間過長的問題,無法滿足使用者的需求。
例如使用可穿戴式攝影機的視覺服務,回應時間需要在25ms至50ms之間,使用雲計算會造成嚴重的延遲;再比如工業系統檢測、控制、執行的即時性高,部分場景即時性要求在10ms以內,如果數據分析和控制邏輯全部在雲端實現,則難以滿足業務要求;還有那些會生成龐大數據流的多媒體應用,如影像或是基於雲平台的網路遊戲,依賴雲計算,也會為玩家造成類似於等待時間過長的問題,無法滿足使用者的需求。
作為雲計算的有益補充,可以利用邊緣節點(例如,路由器或離邊緣設備最近的基站),用以減少網路等待時間。
2).超越終端設備的資源限制
與數據中心的服務器相比,使用者終端(例如智慧手機)的硬體條件相對受限。這些終端設備以文本、音訊、視訊、手勢或運動的形式獲得數據輸入,但由於中間件和硬體的限制,終端設備無法執行複雜的分析,而且執行過程也極為耗電。
因此,通常需要將數據發送到雲端,進行處理和運算,然後再把有意義的資訊,透過中繼返回終端。
因此,通常需要將數據發送到雲端,進行處理和運算,然後再把有意義的資訊,透過中繼返回終端。
然而,並非來自終端設備的所有數據,都需要由雲計算執行,數據可以利用適合數據管理任務的空閒計算資源,在邊緣節點處過濾或者分析。
3).可持續的能源消耗
大量研究顯示,雲計算會消耗龐大的能源,未來十年數據中心所消耗的能源量,可能是如今消耗量的3倍。隨著越來越多的應用轉移到雲,能量需求會日益增長,甚至無法滿足。因此,採用能量效率最大化的計算策略,顯得尤為迫切。
一些嵌入式小型設備的基礎資訊採集處理,完全可以在端完成,即手機傳感器把數據傳送到網管後,就通過邊緣計算進行數據過濾和處理,沒必要每條原始數據都傳送到雲,這省去了大量的能源成本。
4).應對數據爆炸和網路流量壓力
邊緣設備的數量正在超速成長——到2018年,世界上三分之一的人口,將擁有智慧手機或者可穿戴設備,到2020年,這些設備將生成43萬億GB的數據。處理這些數據需要進一步擴展數據中心,這再次引起了人們對網路流量壓力的廣泛關注。
通過在邊緣設備上執行數據分析,可有效應對數據爆炸,減輕網路的流量壓力。邊緣計算能夠縮短設備的回應時間,減少從設備到雲數據中心的數據流量,以便在網路中更有效的分配資源。
5).智慧計算
不僅是消費級的物聯網終端,邊緣計算還將在工業應用中,發揮重要作用。計算可以分層執行,利用網路遠端的資源完成。例如,典型的生產流水線,可以過濾設備上生成的數據,在傳輸數據的邊緣節點上,執行部分分析工作,之後再透過雲端執行更加複雜的計算任務。
邊緣節點可以通過分擔雲計算的部分任務,增強數據中心的計算能力。
邊緣節點可以通過分擔雲計算的部分任務,增強數據中心的計算能力。
業務流程優化、運維自動化與業務創新,驅動業務走向智慧化,邊緣側智慧能夠帶來顯著的效率提升與成本優勢。事實上,對於從事工業自動化工作的人而言,邊緣計算並不陌生。
比如,在目前普遍採用的基於PLC、DCS、工控機和工業網路的控制系統中,位於底層、嵌於設備中的計算資源,或多或少都是邊緣計算的資源。
比如,在目前普遍採用的基於PLC、DCS、工控機和工業網路的控制系統中,位於底層、嵌於設備中的計算資源,或多或少都是邊緣計算的資源。
圖4:霍尼韋爾公司Honeywell將工業領域劃分為6層架構
目前規模以上冶金企業,其信息化已經做得頗具成效,但缺少的恰恰是末端智慧。
冶金方面的數據,經常會出現完整性和一致性的問題,俗稱「臟」數據。解決不好這方面的問題,會給能源管理和智慧管理環節,造成很大的困擾。邊緣計算在其中發揮著重要作用,成為工業物聯網技術的有效補充。
冶金方面的數據,經常會出現完整性和一致性的問題,俗稱「臟」數據。解決不好這方面的問題,會給能源管理和智慧管理環節,造成很大的困擾。邊緣計算在其中發揮著重要作用,成為工業物聯網技術的有效補充。
圖5:推進邊緣計算需要打破管理(IT)與控制(OT)的分層模式
二、邊緣計算所面臨的挑戰
邊緣計算仍處於起步階段,當前的雲計算服務(如Amazon Web Service,Microsoft Azure和Google App Engine)可以支持數據密集型的應用程序,但在網路邊緣,進行即時的數據處理,仍是一個有待開拓的領域。
此外,若想更好的在邊緣節點上,部署應用程序的工作負載,需要考慮以下幾個方面:
部署策略:如何部署工作負載
連接策略:何時使用邊緣節點
異構性:如何處理不同類型的節點
圖6:邊緣計算面臨的機遇與挑戰
為了實現邊緣計算,我們認為在硬體、中間件和軟體層面,有以下5個挑戰需要解決。
挑戰1:邊緣節點上的通用計算能力
理論上,可以在位於邊緣設備,和雲平台之間的某幾個節點上,完成邊緣計算,包括接入點、基站、網管、業務節點、路由器、交換機等。
例如,基地台可以根據工作負載能力,執行數位信號處理(DSP)。但是在實踐中,基地台可能並不適合處理分析工作,因為DSP並不是為通用計算設計的。此外,這些節點是否可以執行,除了現有工作之外的計算還不太清楚。
例如,基地台可以根據工作負載能力,執行數位信號處理(DSP)。但是在實踐中,基地台可能並不適合處理分析工作,因為DSP並不是為通用計算設計的。此外,這些節點是否可以執行,除了現有工作之外的計算還不太清楚。
由CAVIUM提供的OCTEON Fusion? Family是一個小型「晶片上基地台」單元,可擴展從6個到14個的內核,以支持32到300+的用戶。這種基地台可在非高峰時間,使用多個計算核心的運算能力。
許多供應商也已經邁出了,使用軟體解決方案,實現邊緣計算的第一步。例如,諾基亞針對行動邊緣計算(MEC)的軟體解決方案旨在為基地台站點提供邊緣計算能力。
同樣,思科的IOx為其整合的服務路由器,提供了一個邊緣計算環境。這些解決方案應用於特定硬體,因此不適合部署在異構環境中。
同樣,思科的IOx為其整合的服務路由器,提供了一個邊緣計算環境。這些解決方案應用於特定硬體,因此不適合部署在異構環境中。
軟體解決方案面臨的一個挑戰,是如何開發跨越不同環境的可移植的解決方案。某些公司正在研究升級邊緣節點,以支持通用計算需求。
例如,可以升級無線家庭路由器,以支持額外的計算任務。英特爾的Smart Cell Platform使用虛擬化技術,支持額外的計算任務。通用CPU替換專用DSP提供了另一種解決方案,但卻需要巨大的投資。
例如,可以升級無線家庭路由器,以支持額外的計算任務。英特爾的Smart Cell Platform使用虛擬化技術,支持額外的計算任務。通用CPU替換專用DSP提供了另一種解決方案,但卻需要巨大的投資。
圖7:英特爾的物聯網網站www.Intel.com/IoT
挑戰2:發現邊緣節點
到2020年將有500億的終端和設備聯網,除了邊緣設備與終端聯網最大的「異構」特徵之外,產品生命週期越來越短、個性化需求越來越高、全生命週期管理和服務化的趨勢越來越明顯,這些新趨勢,都需要邊緣計算提供強大的技術支撐。
如何在分布式計算環境中,發現資源和服務是一個有待拓展的領域。為了充分利用網路的邊緣設備,需要建立某種發現機制,找到可以分散式部署的適當節點。
因為可用設備的數量龐大,這些機制不能依靠人工手動。此外,還需要使用多種異構設備,滿足最新的計算需求,比如大規模的機器學習任務。
因為可用設備的數量龐大,這些機制不能依靠人工手動。此外,還需要使用多種異構設備,滿足最新的計算需求,比如大規模的機器學習任務。
這些機制必須在不增加等待時間,或損害使用者體驗的前提下,實現不同層次,和等級的計算工作流中無縫整合,原有的基於雲計算的機制,在邊緣計算領域不再適用。
挑戰3:分區和拆分任務
對於邊緣計算來說,最大的難點在於如何動態、大規模地部署運算和儲存能力,以及雲端和設備端如何高效協同、無縫對接。
不斷發展的分布式計算,已經催生了許多技術,用來促進在多個地理位置分區執行任務。任務分區通常在編程語言或管理工具中明確表示。
然而,利用邊緣節點來實現分區計算,不僅僅帶來了有效分割計算任務的挑戰,對於如何能在不需要,明確定義邊緣節點的能力或位置,以自動化的方式進行計算的問題上,也遇到了瓶頸。因此,需要一種新型的調度方式,以便將分割的任務部署,到各個邊緣節點上。
挑戰4:高水準的服務品質(QoS)和服務體驗(QoE)
另一個挑戰是需要確保邊緣節點,實現高吞吐量,並且在承接額外計算工作量時,可靠運行。例如,當基地台過載時,可能影響連接到基地台的其他邊緣設備。
因此需要對邊緣節點的峰值時間全面瞭解,以便可以用靈活的方式來分割和調度任務。複雜的算法如何在雲端和邊緣設備之間,合理分解和整合,需要一個對雲管端三者,都有控制力的技術來實現。
挑戰5:開放和安全的使用邊緣節點
安全橫跨雲計算和邊緣計算,需要實施端到端的防護。由於更貼近萬物互聯的設備,網路邊緣側存取控制,與威脅防護的廣度和難度,因此大幅提升。
邊緣側安全主要包含設備安全、網路安全、數據安全與應用安全。此外,關鍵數據的完整性、保密性是安全領域需要重點關注的內容。
邊緣側安全主要包含設備安全、網路安全、數據安全與應用安全。此外,關鍵數據的完整性、保密性是安全領域需要重點關注的內容。
如果把終端設備(例如交換機、路由器和基地台)當作可共享接入的邊緣節點,則需要解決許多問題:
首先,需要定義邊緣設備使用者和擁有者相關聯的風險。
其次,當設備用於邊緣計算節點時,設備的原有的功能不能被損害。
第三,邊緣節點上的多重使用者,都需要將安全性作為首要關注指標。
第四,需要向邊緣節點的用戶保證最低服務水準。
最後,需要考慮工作負載、計算能力、數據位置和遷移、維護成本和能源消耗,以便建立合適的定價模型。
三、邊緣計算的潛在機會
邊緣計算仍處於起步階段,有可能為更高效的分布式計算鋪平道路。儘管在實現邊緣計算時出現了不少挑戰,但邊緣計算將會催生更多的發展機遇,在此我們明確了5個潛在機會:
機會1:標準、基準和市場
統一數據連接和數據聚合是業務智慧的基礎,面對當前工業現場,存在的多樣化與異構的技術和標準,離不開跨廠商、跨領域的數據整合與互操作。
網路邊緣側的本地計算服務,無疑會在異構環境中迎來IT廠商、IT方案商,以及開發者整合融合服務的挑戰,標準化亟待形成。
網路邊緣側的本地計算服務,無疑會在異構環境中迎來IT廠商、IT方案商,以及開發者整合融合服務的挑戰,標準化亟待形成。
許多組織正在定義各種邊緣計算標準,例如美國國家標準和技術協會(NIST)、IEEE標準協會、國際標準化組織(ISO)、雲計算標準客戶委員會(CSCC)和國際電信聯盟(ITU)等。只有當邊緣節點的性能,可以根據廣泛認可的度量指標,可靠的進行基準測試時,才能形成標準。
機會2:架構和語言
隨著支持透用計算的邊緣節點不斷增加,開發框架和工具包的需求也會隨之增長。邊緣分析與現有流程不同,由於邊緣分析將在用戶驅動的應用程序中,實現現有框架可能不適合表達邊緣分析的工作流。
編程模型需要利用邊緣節點,支持任務和數據的並行,並且同時在多個層級的硬體上執行計算。編程語言需要考慮工作流中,硬體的異構性和各種資源的計算能力。這比雲計算的現有模型更加複雜。
機會3:輕量級庫和算法
與大型伺服器不同,由於硬體限制,邊緣節點不支持大型軟體。例如,Intel T3K併發雙模SoC的小型基地台,具有4核ARM的CPU和有限內存,不足以執行複雜的數據處理工作。
再比如Apache Spark,需要至少8核的CPU和8 GB的記憶體,以獲得良好的性能。邊緣分析需要輕量級算法,可以進行合理的機器學習或數據處理任務。
再比如Apache Spark,需要至少8核的CPU和8 GB的記憶體,以獲得良好的性能。邊緣分析需要輕量級算法,可以進行合理的機器學習或數據處理任務。
例如,Apache Quarks是一種輕量級庫,可以在小型邊緣設備(如智能手機)上使用,以實現即時數據分析。但是Quarks支持的基本數據處理,例如過濾和窗口聚合,不足以滿足高級分析任務。
消耗更少記憶體,和使用更小磁盤的機器學習資料庫,有利於實現邊緣節點的數據分析。TensorFlow是另一個支持深度學習算法,並支持異構分布式系統的示例框架,但其邊緣分析的潛力仍有待探索。
消耗更少記憶體,和使用更小磁盤的機器學習資料庫,有利於實現邊緣節點的數據分析。TensorFlow是另一個支持深度學習算法,並支持異構分布式系統的示例框架,但其邊緣分析的潛力仍有待探索。
機會4:微型操作系統和虛擬化
基於微型操作系統或微型內核的研究,可以解決在異構邊緣節點上部署應用的挑戰。
圖8:開放OS簡化智能應用的開發和部署
有研究表明,跨越多個虛擬設備複用設備硬體的行動容器,可以提供與本地硬體接近的性能。容器技術(如Docker)正在成熟,並且能夠在異構平台上快速部署應用程序。
圖9:ARM可以提供全平台、全過程、全要素的設備管理能力
機會5:產學研合作
沒有留言:
張貼留言