Network Automation Driven
by AI and Analytics
詳細資訊歡迎點擊 http://3smarket-info.blogspot.com/2021/03/idview-2021.html
IEEE Network • November/December 2018
摘要
預計 5G 無線通信系統，已於 2020 年開始佈署。隨著新的場景、新技術和新的網路架構，5G 網路的流量管理，將面臨重大的技術挑戰。近年來，人工智慧技術（尤其是機器學習技術）在許多應用領域中，均取得了巨大成功，這顯示它們有潛力幫助解決 5G 流量管理問題。
在本文中，我們研究了 5G 無線網路流量的新特徵，並討論了它們對 5G 流量管理的挑戰。討論了 5G 流量管理的潛在解決方案和研究方向，包括分佈式和輕量級 ML 算法，以及新穎的 AI 助手內容檢索算法框架。
介紹
第五代（5G）無線通信網路，正朝著最終佈署加速。 5G 將提供超快速，可靠的無線鏈接。到 2023 年，5G 的佈署將推動全球行動數據流量，從 316 億行動設備增加到每月 100 EB，幾乎是當前水準的兩倍。在未來的 5G 網路中，網路架構和無線連接方面的系統複雜性將大大增加。另一方面，每個使用者/設備的平均可訪問資源將受到很大限制。因此，數據量和使用者設備的爆炸性成長，將對網路流量的管理和優化提出重大挑戰。
當前有關 5G 網路流量管理的研究，已經完全基於通信理論推動了傳統方法的發展。解決 5G 網路的流量管理問題，並實現整個網路的全球最佳性能將極具挑戰性。這表明需要採用革命性的解決方案。
解決上述挑戰的一個有前途的方向，是使人工智慧（AI）技術適應網路數據，來分析和管理 5G 網路的流量。人工智慧技術不僅可以減少網路流量管理中的手動干預，而且還可以透過從網路中，汲取新見解並預測網路流量狀況，和使用者的行為，從而實現更好的網路性能，更好的可靠性和更自適應的系統。或者，以自主方式做出更明智的決策。
機器學習（ML）和深度學習（DL）是兩種先進的 AI 方法，已引起人們極大的興趣來克服管理 5G 網路流量的挑戰。但是，現有研究強調了以下局限性：
‧大多數現有報導的研究僅
專注於核心網路，並應用機器學習解決核心網路中的路由問題；關於 5G 網路的流量控制研究很少。
‧對於流量控制，迄今為止，大多數的研究報告，僅集中在網路層上。關於 AI 技術在應用層和語義層應用上的研究報告很少，這些內容透過考慮使用者興趣的內容推薦來塑造流量。
在本文中，我們將研究由新場景，網路架構和新服務需求，引起的 5G 無線流量的新功能和挑戰。基於這些分析，我們基於在 5G 網路中使用 AI 技術，提出了潛在的解決方案和研究方向。
本文的其餘部分安排如下。下一節介紹了未來 5G 網路中的潛在挑戰。然後，我們針對 5G 網路流量控制引入了深度強化學習，以及分佈式輕量級 ML 算法。然後突出顯示 AI 助手流量整形算法。最後，在最後一節得出結論。
5G 無線網路中網路流量的新特性和挑戰
新場景導致 5G 流量中的新功能和新挑戰
由國際電信聯盟（ITU）定義，未來的 5G 系統將具有三種主要情況。首先是增強型行動寬頻（eMBB），其目標是極高的數據速率，以滿足 3D 和超高清（UHD）影像傳輸，以及虛擬實境（VR）應用等新興服務，對高速數據訪問的要求 。
第二種是大規模機器類型通信（mMTC），目的在以低功耗（最多15個）提供高連接密度（高達200,000 個設備/ km2）和低數據速率（每個設備 1 至 100 kb / s）。電池壽命長達 3 年），以符合用於智慧城市、物聯網（IoT）和可穿戴設備網路的感測器網路的要求。
第三，超可靠的低延遲通信（URLLC）方案目的在提供用於控製網路（如智慧電錶、高速列車）的極高可靠性（99.999％）和低延遲（<1ms）無線服務。控制、運輸安全控制、遠端醫療手術服務和工業機器人控制。
對於這三種情況，由於它們的服務焦點不同，因此它們的數據流量特徵也有很大的不同。對於 eMBB 方案，為了實現每個使用者的極高數據速率，包的大小將很大，並且大多數數據將在下行鏈路方向上傳輸。
對於 mMTC 場景，大多數數據將在上行鏈路方向上傳輸。由於低數據速率設備的高密度，mMTC 方案的流量，在很大程度上是離散的。對於 URLLC 場景，為了滿足低延遲和高可靠性的要求，數據包大小將變小，傳輸時間間隔（TTI）將變短，並且具有混合自動重發請求（HARQ）的短幀結構將會被使用。
由於需要更頻繁的回饋，來確保交付成功，因此大量流量會在上行鏈路方向上發生，這使得 URLLC 場景的流量，可能會在下行鏈路方向，和上行鏈路方向之間顯得平衡。在表1 中，我們總結了三種主要 5G 場景的系統性能要求和流量功能。
在核心網路中，以上所有類型的數據將被混合。由於這三種主要的 5G 場景的固有流量特性（顯著不同），流量將非常動態且不可預測。即使借助某些現有的模型驅動的 ML 方法，也很難使用傳統的交通控制方法，來預測交通狀況並進行優化。
表1. 主要 5G 場景的技術性能要求和流量特性。
在骨幹網路的壓力下，eMBB 切片趨向於使數據更接近使用者。它對在本地數據中心（DC）的行動雲端引擎中佈署緩存的資源提出了很高的要求。因此，對於 eMBB 場景，流量壓力將主要發生在本地 DC ，和使用者設備（UE）之間的下行鏈路方向上。對於 URLLC 切片，由於對延遲和可靠性有嚴格的要求，因此必須將其處理功能單元佈署，在盡可能靠近 UE 的位置。可能的解決方案，是分配中央辦公室 DC 中的行動雲端引擎中的數據處理單元，以支持在短距離內，進行頻繁的小數據包傳輸。
結果，URLLC 切片的流量壓力，將主要發生在中心局 DC 和 UE 之間。對於 mMTC 切片，每個 UE 將有較少量的網路數據交互。然而，由於高連接密度，其主要業務將發生在，無線電接入網路的上行鏈路方向。所有數據將在本地 DC 中合併，並透過核心網路傳輸到區域 DC 中的 IoT 伺服器。如果我們考慮大量的物聯網數據，則本地 DC 和區域 DC 之間的鏈接也可能帶來一些挑戰。在圖1 中顯示了 5G 網路的網路結構。
根據這些陳述，我們可以預測由 5G 網路的新網路結構，引起的網路流量管理，面臨的以下兩個挑戰：
‧5G 無線網路將是異構網路。不同網路的共存，以及具有明顯不同特徵的流量數據的混合，使網路流量的預測、管理和優化成為一項艱鉅的任務。
‧由於 SDN 技術將用於 5G 網路，並且將佈署其網路功能虛擬化（NFV）和網路切片功能，因此所有服務，將在統一的實體基礎架構上獨立運行。但是，由於所有流量最終都將混合在一起，並且不同方案的流量特徵明顯不同，因此所有這些網路流量的混合將使網路變得不可預測。
圖1.新的 5G 網路架構。
5G 網路流量的新場景和功能給常規流量控制策略帶來了一系列挑戰。 為了克服這些挑戰，需要大量複雜的決策和推理過程。
新功能和挑戰
5G 流量被新的網路服務使用
在 5G 時代，無線網路的使用將發生巨大變化，從而導致流量數據激增。由於以內容為中心的應用（例如，社交媒體應用 app）的迅速增加，由內容檢索應用提供的數據服務，已經成為行動網路上流量的主要消費者。
在當前網路中，數據主要儲存在集中式 DC 中。對於所有訪問，仍然需要透過核心網路和無線訪問網路（RAN）將數據從 DC 傳輸到 UE。在 5G 網路中，為了減少延遲並減輕核心網路流量的壓力，包括建議內容在內的數據，將首先儲存在本地 DC 的行動雲引擎的暫存中（eMBB 場景）。
在這種情況下，以內容為中心的應用的流量功能，將從恆定的核心網路訪問，變為隨機的核心網路訪問，這超出了現有的核心流量控制研究範圍。
用於 5G 網路流量控制的機器學習
上面詳述的 5G 網路流量的新場景和功能給常規流量控制策略帶來了一系列挑戰。 為了克服這些挑戰，需要大量複雜的決策和推理過程，來自適應地分配/管理網路資源，智慧地調度/選擇路由策略，並迅速預測 5G 網路的流量狀況。
ML，尤其是 DL 的最新進展，為解決這些問題提供了希望。 在本節中，我們將從以下三種 ML 算法的角度討論 5G 網路流量控制：有監督學習，無監督學習和強化學習（RL）。 由於存在一些關於監督學習和非監督學習的調查，因此我們將重點放在學習 RL 上。
監督學習的觀點
監督學習依靠一組訓練有素的培訓樣本，這些樣本由知識淵博的外部主管（人工或自動）標記以訓練模型（圖 2a）。訓練數據定義了輸入和分類或回歸問題所需標籤之間的映射。然後，可以預期該模型，以合理的方式推斷出新的輸入示例。據報導，有監督學習在網路管理中的應用，可用於選擇網路路由路徑，預測流量等。
最近，還證明了 DL（例如在卷積神經網路中）比傳統的路由方法在網路流量管理中更有效。但是，在龐大的異構 5G 網路的大規模訓練數據的內涵下，監督學習通常是昂貴的，而且勞動和數據密集型。對於某些交通控制問題，採用監督學習具有挑戰性，因為並非總能找到數據標註的全局最優方法。因此，無需顯式標記的學習將更具吸引力。
無監督的學習視角
無監督學習目的，在自動尋找和理解數據結構，而無需外部監督。圖2b 說明了它在聚類問題中的用途。它已被廣泛用於降低數據複雜性，建模數據分佈，檢測網路異常等。對 5G 網路流量控制的未經學習的學習，可以促進在 eMBB、mMTC 和 URLLC 場景中對流量模式、堵塞和流量狀況，進行概率建模。因此，可以更好地預測網路流量的狀態，並可以預先設置網路調度和配置，並使其適應網路流量和拓撲變化。
加強學習的視野
RL 使代理能夠透過與環境不斷交互，並最大化其累積獎勵來自動學習最佳決策。結合 DL，它可以成為解決以前棘手的通用框架，尤其是在具有高維狀態和動作空間的複雜環境中。這種被稱為深度強化學習（DRL）的新範例，已被證明可以建構 AlphaGo，並在 Go 遊戲中擊敗了世界冠軍。它具有為具有高度動態拓撲的異構超密集 5G 網路提供智慧流量控制系統的巨大潛力。
通常，DRL 包含三個主要元素：
‧策略功能，用於定義座席的行為
‧值函數，用於評估效果如何每個狀態和/或動作是
‧環境模型，代表討厭代理商對環境的了解
圖2. a）監督學習； b）無監督學習。
如圖3 所示，在網路流量控制的前後關聯中，作為流量控制算法的代理從與其代表 5G 網路的環境的直接交互中學習。代理在某種程度上感知環境狀態，並採取影響狀態的措施（例如，選擇路由協議）。透過與環境交互並發現產生最大收益的行為，代理逐漸學習了最佳策略。
可以透過管理通信堵塞、等待時間、數據包丟失等，來確定獎勵。一種典型的 DRL 算法，是深層 Q 網路（DQN），它用深層神經網路表示值函數。請注意，RL 與有監督的學習不同，後者與交互和獎勵無關。它也不同於無監督學習，後者通常側重於如何發現未標記數據的隱藏結構。
基於此 DRL 體系結構，可以開發自適應和智慧網路流量控制算法。代理學習如何透過減少延遲和網路堵塞，來盡可能快而穩健地將軟體包交付到其目的地。由於不需要標籤數據，因此該算法可以自動學習自適應策略。更重要的是，它可以為交通控制系統提供終身學習能力。
具體來說，當過多的流量延遲和嚴重的堵塞，降低了網路性能時，傳統的流量控制系統，將無法從經驗中學習或了解未來的情況。相反，基於 DRL 的方法，可以從這種經驗中學習路由資訊和流量模式，並在下次發生這種情況時，成功管理大量的網路流量。這意味著基於 DRL 的流量控制系統，可以隨著時間不斷發展其性能，並最終在各種情況下都足夠。
圖3. 在網路流量控制的前後關聯中進行的深度增強。
圖4. 5G 中的分佈式輕量級 ML 算法。
現有工作已經顯示了，基於 RL 的流量控制和無線感測器網路路由的有效性。然而，據我們所知，目前尚無關於 5G 網路流量的工作，基於 DRL 的 fic 控制。
5G 網路中機器學習模型的數據採集和處理
數據對於訓練 ML 模型非常重要。 但是，與廣泛採用機器學習技術的領域（例如，電腦視覺）相反，無線通信社區對用於機器學習模型設計，大規模數據集的訪問受到限制。 這阻礙了 ML 模型在無線通信中的開發和應用。
數據集：有幾種可能的方法可以為 5G 網路生成數據集。對於有監督的學習，模擬是一種低成本的選擇，其基本事實可直接用於許多交通控制應用中。但是，由於 5G 網路及其場景過於復雜而無法精確模擬，因此在實際佈署經過訓練的模式時，需要仔細評估泛化能力。
或者，可以從傳統方法中生成訓練標籤，並可以利用自我監督的學習機制。但是，訓練數據的品質高度，依賴於用於生成標籤的傳統方法的性能。此外，對於 5G 無線網路中的流量控制和管理，仍然存在許多開放的挑戰，尚無有效的解決方案。
相反，RL 不需要訓練標籤，因此更具吸引力。可以簡單地透過交通控制要求確定的獎勵，來對其進行訓練。更重要的是，數據收集和模式訓練，可以網路上進行，並透過與環境的持續交互進行終生學習。這是 RL 用於 5G 網路的最大優勢之一。
訓練：根據要在何處佈署經過訓練的模式，以及使用哪種類型的 ML 算法，針對 5G 網路的 ML 模式的訓練可能會有很大的不同。可以在高性能計算（HPC）集群，網路嵌入式系統（例如，最終使用者設備）和雲端運算伺服器上進行訓練。對於有監督的學習，通常使用 HPC 上準備好的數據集，對模式進行離線訓練，然後在 5G 網路中進行佈署。
5G 網路的某些部分，可能需要暫時退出服務，以進行模型測試和佈署，具體取決於它們將在何處託管。RL 訓練沒有問題，因為它可以與 5G 網路的服務，同時運行和交互。因此，訓練程序必須是 5G 網路中固有的。更重要的是，在不斷探索最佳策略的同時，RL 的性能會隨著時間的推移而提高。
分配和法律授權
適用於交通運輸的 Ml 算法
5G MMTC 和 ULLRC 場景
現有的 ML 算法主要集中在電腦視覺，自然語言處理和具有強大圖形處理單元（GPU）或中央處理器（CPU）的計算功能的機器人技術上，以即時運行。但是，通信系統中充滿了資源受限的設備（例如嵌入式和 IoT 系統），尤其是在 mMTC 場景中。因此，用於通信網路的 AI 算法，不僅應學習構成網路，使用者和設備基礎的複雜統計模式，而且還應有效地與儲存能力，運算能力和能源資源有限的嵌入式設備一起工作。為嵌入式系統開發輕量級的 ML 算法，尤其是 DL 模式，具有挑戰性，但也是非常有意義的。
在當前應用中，AI 算法通常在一個節點（位於集中位置）中集中執行，可以完全訪問全局數據集，並具有大量的儲存和運算功能。在 5G mMTC 場景中，由於將以高密度連接數百萬個設備，因此不可能將所有數據從每個單個終端傳輸到中心。同樣對於 URLLC 場景，由於其對高可靠性和低等待時間的要求，數據應盡可能靠近使用者進行處理。但是，由於 IoT 設備的運算能力有限，因此無法在單個設備中，運行常規的集中式 ML 算法。
當前，已經對以下現有技術進行了研究，以開發用於無線通信的分佈式和輕量級 ML 算法：
‧用於行動設備的高級並行運算
設備，例如來自英偉達的 Tegra GPU 設備
‧新穎的分佈式運算方案，例如作為霧運算和邊緣運算
‧適用於嵌入式設備（例如 TensorFlow Lite）的高級深度學習開發庫和工具箱
‧新興的分佈式 ML 框架，例如地理分佈式 ML 系統（Gaia）
在圖4 中，顯示了用於 5G 無線網路的分佈式輕量級 ML 算法的潛在佈署方案。在這個框架中。雲端運算、霧運算和邊緣運算都已考慮在內。在雲端伺服器中，由於它具有更多的運算能力，因此將運行複雜的集中式大規模 ML 算法。
在霧運算節點中，由於其運算能力有限，因此將運行輕量級 ML 算法。至於邊緣運算節點，由於其極有限的運算能力和功率限制，單個節點不可能運行整個 ML 算法；因此，分佈式輕量級算法將在此處運行。
AI 助手內容的獲取，建議和靈活算法
5G 網路中的流量交換
通常，個性化內容檢索服務具有兩個基本任務：內容推薦和內容交付。第一項任務是根據前後關聯資訊（例如使用者的歷史偏好、社交關係和位置）預測使用者的興趣，並推薦使用者可能感興趣的內容。第二項任務是以服務品質（QoS）保證將內容交付給使用者。根據此陳述，我們可以找到個性化內容檢索服務的使用者體驗品質（QoE），它由兩部分決定：
‧內容推薦是否準確並能夠引起使用者的興趣
‧訪問推薦內容的過程是否方便、流暢
最近，一些研究人員已經使用 AI 技術，來改善內容檢索服務系統的性能。大多數工作集中在語義層上，使用 AI 技術來提高內容推薦的準確性。對於內容交付任務，大多數現有論文都將其視為溝通問題，並將其與推薦任務分開。
但是，事實證明，對推薦和傳輸的聯合優化，將為 QoE 帶來更大的改善。在這種情況下，除了準確性之外，數據訪問體驗也將被視為內容推薦的問題。在交通狀況良好的情況下，將向使用者推薦大容量傳輸數據（如 UHD 影像）格式的內容，而在交通堵塞的情況下，將建議採用最合適的格式的內容。
先前的研究主要集中在現有無線網路中單個使用者的 QoE。在 5G 網路中，除了使用者的 QoE 外，還需要考慮數據訪問的效率，因為它對整個網路的流量特性有重大影響。在這裡，我們提出了 5G 網路中的內容 ML 助手推薦算法框架，以優化數據傳輸效率，並調整來自應用層的數據流量。
圖5. AI 助手內容檢索算法框架。
在 5G 網路中，尤其是對於 eMBB 場景，數據將更接近使用者。因此，在內容檢索中，大多數推薦內容將儲存，在本地 DC 的行動雲引擎的暫存中。該算法的基本原理，是嘗試使用盡可能多的本地數據。如果需要通過核心網路，從另一個位置傳輸更多數據，則將首先檢查其對時間和當前流量的要求。該算法的過程如圖5 所示。
首先，從語義層獲得對潛在地，對使用者感興趣的內容的需求。然後，本地控制器將檢查哪些本地內容有效，並評估該內容是否足夠。如果是，則控制器將選擇高品質的最相關內容，並將其推薦給使用者。需要注意的是，控制器可以使用所有本地非機密數據，為其不同的使用者提供服務。
如果要從其他 DC 傳輸更多數據，則控制器將首先檢查網路的當前流量狀態，和傳輸的緊迫性，然後確定時隙和要傳輸的內容的格式。在該方案中，機器學習算法將用於使用者需求分析，內容推薦，做出數據傳輸決策和流量預測。透過使用這種算法方案，在保證使用者的 QoE 的基礎上，我們可以透過 AI 助手內容檢索服務的流量整形功能，提供新穎的流量優化。
在該方案中，機器學習算法將用於使用者需求分析，內容推薦，做出數據傳輸決策和流量預測。透過使用該算法方案，在保證使用者的 QoE 的基礎上，我們可以透過 AI 助手內容檢索服務的流量整形功能，提供新穎的流量優化。
結論
在本文中，我們討論了 5G 網路的流量特性，以及由於新的使用場景，新的網路架構和新的網路服務，而給 5G 網路的流量管理帶來的挑戰。用於 5G 流量控制的 ML，包括已引入的監督學習、無監督學習和用於管理 5G 流量的 DRL。
已經討論了用於優化 5G mMTC 和 ULLRC 場景中，上行鏈路流量的分佈式輕量級 ML 算法。還提出了一種新穎的 AI 助手內容檢索算法框架，用於優化未來 5G 網路的內容檢索服務中的數據流量。在未來的 5G 網路中使用 AI 和 ML 技術將有更多的機會。
0 comments:
張貼留言