人工智慧和算法：優點和缺點 | DW 紀錄片（AI 紀錄片）
今天有兩種面向使用者的軟體產品：使用機器學習和自動化，來適應和幫助實現使用者意圖的產品，以及摩擦纏身、需要仔細記憶和重複交互的產品。Google Search、Siri 和 Spotify 屬於前一類產品。當今的安全營運中心 (SOC，Security Operations Center) 平台屬於後者、非自適應、摩擦纏身的類別。
在接下來的五年裡，這種情況將會改變。成功的安全產品在推薦相關安全資訊方面，將變得像谷歌和 Facebook 一樣精明，在預測面向安全的自然語言請求背後的意圖方面，將像 Alexa 和 Siri 一樣精確。他們還將人工智慧技術與智慧家庭生態系統，已經實現的系統整合相結合，更新安全政策，就像智慧 家庭應使用者要求打開安全攝影機和鎖門一樣。
與 1990 年代的 Altavista 相比，這種新的「人工智慧輔助 SOC」，將顯著優於今天的 SOC，就像今天的谷歌搜索感覺一樣。隨著 AI 增強將全球 SOC 分析師「群體」的智慧，提煉為安全工作流程的副駕駛、自動完成 SOC 分析師工作流程，和預測 SOC 分析師意圖，安全人員將顯著提高效率。
當然，這種變化不會憑空出現。它將是當今出現的多種技術趨勢匯合的結果。首先是擴展檢測和響應 (XDR) 供應商，在整個客戶群中增加所有相關安全數據的整合，首次為未來 AI 輔助 SOC 的支持機器學習模式，提供必要的訓練數據。第二個趨勢是跨技術領域的 AI 創新，研究界繼續生產更好的機器學習 (ML) 算法、工具和雲 AI 基礎設施，為 AI 輔助 SOC 的 ML 能力提供機會。
第三個趨勢是可程式安全態勢，IT、雲和安全產品，越來越多地暴露出強大的管理 API。隨著越來越多的 IT 環境變得可透過 API 進行控制，人工智慧輔助 SOC 將繼續出現機會，以提供類似於智慧家庭生態系統的安全編排、自動化和響應 (SOAR) 功能，更新組織的安全態勢，並透過以下方式修復事件按鈕自動化。
XDR、AI 創新和可程式安全態勢的發展，將如何共同產生 AI 輔助 SOC，以及未來 AI 輔助 SOC 的樣子，是本白皮書的主題。我們將討論分為三個部分：
- 人工智慧輔助 SOC 的願景。在本節中，我們描繪了未來 SOC 的圖景，介紹了 AI 輔助 SOC 的概念模式和假設特徵。
- Sophos 的 AI 輔助 SOC 路線圖。在本節中，我們將描述我們在未來 5 年內交付 AI 輔助 SOC 的計劃。我們討論了我們的 AI 創新路線圖，以及我們利用 Sophos XDR 產品中的數據，來提高 AI 模式準確性的計劃。我們還討論了我們計劃，利用供應商產品 API 的方式，以及「一切即代碼」趨勢（例如，基礎設施即代碼、IT 即代碼）來自動化 AI 制訂的安全態勢更新和事件響應操作。
- Sophos 目前為實現 AI 輔助 SOC 所做的工作。在本節中，我們展示了 Sophos 建構的三個研究原型的結果，顯示我們願景中隱含的艱鉅研究挑戰很可能在五年內得到解決。
人工智慧輔助 SOC 的願景
圖 1：AI-UX 值電路
AI 輔助 SOC 將由一種設計模式提供支持，這種設計模式在安全之外的 UX 工作中普遍存在：AI-UX 價值電路，如圖 1 所示。最簡單的例子是觸控螢幕鍵盤提供的自動建議功能，電子郵件客戶端和搜索引擎。在這裡，當用戶鍵入時，人工智慧系統會建議文本「完成」並糾正錯誤。反過來，這些人工智慧系統向用戶學習。這個電路非常強大：想像一下沒有自動完成和糾錯的觸控螢幕打字。並且 AI-UX 值電路無處不在；它用於音樂、電影和產品推薦系統；在搜索結果排名中；半自動駕駛和許多其他情況。
在未來五年內，成功的 SOC 軟體提供商，將在安全領域實例化 AI-UX 價值迴路，創建一組功能，作為一種由全球 SOC 分析師群體的智慧驅動的安全推薦引擎。透過將此 AI 技術與 IT 產品的 API 整合相融合，並透過使用它來修改定義雲基礎設施拓撲和配置的代碼，SOC 軟體將感覺像智會家庭軟體，只需按一下按鈕即可客製化推薦的劇本，來更新 IT 安全態勢.
在討論企業 IT 和 IT 安全 API 整合之前，我們將在下面詳細說明 AI-UX 價值電路，將如何影響警報推薦、安全數據豐富和事件補救。
人工智慧輔助警報推薦
今天的檢測系統與 1990 年代基於關鍵字的網路搜索引擎一樣有限，因為它們不包含 AI-UX 價值迴路。當跨多個 SOC 的使用者選擇升級或解除一類警報時，SOC 平台不會檢測到這種時間趨勢，並升級或降級相關警報，就像第一代搜索引擎沒有從使用者交互中學習一樣。
通過忽略 SOC 分析師「人群」的行為，今天的 SOC 平台，浪費了其他技術部門已經充分利用的使用者交互數據。透過利用 AI-UX 價值迴路，AI 輔助的 SOC 將顯著改進，根據來自即時人群行為的資訊推薦警報，並針對各個組織環境進行客製化。這與谷歌目前根據當前事件和人群行為的即時演變，對搜索結果進行排名的方式沒有什麼不同，根據使用者資料客製化搜索結果。
為了說明這一點，圖 2 設想了一個未來的 SOC 警報推薦系統。圖中的面板顯示了支持 AI 的 SOC，如何根據分析師/警報交互，在數千個安全營運中心之間，對任意安全檢測器發出的警報進行排序。例如，模式顯示了標記為「可疑 PowerShell 調用（基於 ML）」的選定警報（黃色）如何被視為高優先級，因為類似網路上的類似案例，被其他 SOC 中的分析師升級。
與此相關的是，圖 2 右側的面板顯示了 SOC 分析師的「大眾知識」如何覆蓋在感興趣警報的較低級別細節之上。在這裡，我們看到一位分析師可能在不同的客戶 SOC 工作，但其組織選擇共享與威脅相關的資訊，他注意到類似於焦點警報的警報「導致了勒索軟體事件」。因為我們設想的眾包 AI 方法將在即時決策中，結合數以萬計分析師的知識和經驗，它將在此類場景中提供不可或缺的幫助。
圖 2：人工智慧輔助警報分類系統的概念模型
人工智慧輔助安全數據豐富
人工智慧輔助的 SOC 將超越警報推薦；他們將預測哪些數據分析師需要跟進警報並主動檢索它。他們還將自動執行「唾手可得的」逆向工程和數據分析任務。
圖 3：Sophos AI 團隊設計的 AI 惡意軟體描述系統
圖 3 所示的惡意軟體描述生成 ML 模式，給出了一個人工智慧輔助自動化的低懸果逆向工程示例。該技術由 Sophos 的一個團隊開發，基於其低級二進制功能自動描述惡意軟體功能，從而增強分析人員的決策能力。該模式經過數百萬個惡意軟體樣本的訓練，並與整個防病毒供應商生態系統，提供的惡意軟體描述配對。將來，此類系統將接受實際分析師逆向工程師，給出的文本惡意軟體描述的培訓。
我們在下表中提供了更多富集示例。所有這些都將極大地加速 SOC 逆向工程和威脅情報，並且還會提醒後續工作流程。
| AI數據豐富應用 | 應用程序用例 |
|---|---|
| AI 安全工件豐富 | 向小型 SOC 中的非專業分析師解釋神秘可疑腳本的惡意意圖 |
| AI 工件到演員的映射豐富 | 為分析師提供事件的歸因和意圖（將其鏈接到威脅參與者組），以便他們更好地選擇響應策略 |
| AI 警報解釋 | 根據關於類似警報的「群眾知識」，讓分析師在跟進高優先級警報方面領先一步 |
| AI 工作流預取 | 根據先前觀察到的類似檢測和警報的工作流程，主動執行節省時間的工作，以檢索支持數據和有用的上下文並向分析師提供 |
表 1：各種 AI 輔助數據豐富的用例示例
人工智慧輔助事件補救建議
人工智慧輔助的 SOC 將推薦眾包配方，以在分析師執行其工作流程時，解決安全警報、事件和狀態更新。在表 2 中，我們給出了該功能將如何出現的模式，並且我們在圖 2（上圖）中展示了該功能的概念模式。該圖顯示了透過記錄分析師，對過去事件的記錄並將其傳播到新的相關事件，我們可以為分析師配備人群「副駕駛」。
很難誇大這種能力將產生的影響。隨著 SOC 分析師用戶「人群」規模的擴大，以及資訊以越來越快的速度聚合，人工智慧輔助的事件補救建議對於 SOC 分析師來說，可能變得像 StackOverflow 對於程式員一樣不可或缺。內置於 SOC 工作流程中的回饋機制，將根據分析師展示的偏好不斷重新校準配方建議。
我們想像人工智慧輔助的事件補救，會分階段發展。在第一階段，將推薦文本事件評論，如表 2 所示。在下一階段，我們預計 XDR 工具會根據分析師的活動，自動提取行動過程摘要，這樣分析師就不必在事後寫下來- 手動報告。這將增加「安全配方推薦系統」中編碼的經驗廣度，減少編寫報告所投入的勞動力，並提高其準確性。
在行動方案推薦開發的最後階段，人工智慧系統將自動將先前執行的行動方案轉換為新的場景和操作環境，允許通過安全和 IT 產品 API對這些推薦的行動方案進行「按鈕式」自動化. 我們的觀點總結在下面的表 2 中。
| ML 事件修復成熟度階段 | 能力描述 |
|---|---|
| 修復配方推薦 | 當人群分析師處理事件並撰寫有關其行為的報告時，人工智能將這些報告推薦給處理類似事件的其他分析師，從而創建一個飛輪來累積事件響應知識的即時維基百科 |
| 修復配方生成和推薦 | 當眾包分析師採取事件響應行動時，XDR 軟體會記錄這些行動，然後建議考慮在新的相關環境中採取這些行動，從而提高眾包事件響應知識庫的吞吐量。同樣的過程可用於改進文檔的生成，這通常要嘛表現不佳要嘛過於耗時 |
| 自動生成的補救措施的按鈕執行 | 當人群分析師採取補救措施時，XDR 學習動作模板並提供自動將它們應用到新的相關上下文中，隨著系統積累知識而減少事件反應時間 |
表 2：機器學習事件補救建議將如何成熟
人工智慧輔助的安全工作流程自動化
圖 4：API 在整個技術領域的重要性日益增加 (https://blogs.informatica.com/2020/02/28/how-to-win-with-apis-part-3/)
人工智慧輔助的 SOC 不僅會推斷使用者意圖；它還將自動執行以前費力的操作，就像智慧家庭系統自動執行，各種以前手動執行的操作一樣。智慧家庭生態系統自動執行瞬時動作（「打開樓下的燈」）、預定動作（「每天晚上 6:00 開燈」）和複雜的有條件動作（「每天我在離家四分之一英里」）。在幕後，這些生態系統將模棱兩可的自然信號（口語自然語言輸入），轉換為確定的 API 請求，處理來自多個供應商的產品。
類似地，AI 輔助的 SOC 軟體，將支持對跨越多個供應商的各種 IT 基礎設施，進行流暢的自然語言控制（從下週一開始，可以接受諸如「設置防火牆規則，以將我的 AWS 基礎設施中的 'ssh' 訪問，限制為僅限辦公室內的 IP 地址」之類的命令上午 8:00」）。此外，如上所述，人工智慧輔助的 SOC 軟體，通常會向分析師推薦行動方案，然後在他們確認後實施（例如，建議 HTTP 伺服器，過濾來自給定 IP 範圍內地址的傳入連接，基於威脅情報數據，然後在分析師確認後自動實施此策略）。
這些自動化功能，將依賴於在企業 IT 和 IT 安全環境中，快速和加速實施管理 API。圖 4 戲劇化了這一點，顯示了過去幾年整個技術領域的 API 消費成長。此類圖表顯示，在未來五年內，IT 和 IT 安全中的 API 將變得如此普遍，以至於透過自動化、程序化的方式收集數據、更新安全態勢和採取補救措施，幾乎不可能實現在 IT 安全環境中。
Sophos 實現 AI 輔助 SOC 的路線圖
表 3 給出了我們在 2021-25 年期間，實現 AI 輔助 SOC 願景的路線圖；請注意，我們正處於這個五年計劃的第二年。圖表的第一行給出了我們將要或已經提供的標題功能。接下來的幾行給出了支持它們所需的可交付成果，包括三個技術軌道：XDR 平台創新、安全 AI 創新和可程式安全態勢。有幾點在路線圖中特別突出，值得強調。
| 能力 | 2021 | 2022 | 2023 | 2024 | 2025 |
|---|---|---|---|---|---|
| AI 驅動的 SOC特性 | 基於人群訓練數據的人工智能警報推薦引擎——完成 | 人工智慧推薦的眾包事件響應報告；人工智慧警報豐富 | 根據分析師行為自動生成 AI 推薦的事件響應行動建議 | 透過 Saas/IaaS API 的 AI 建議操作的按鈕實現 | 透過 AI 模型和 SaaS/IaaS API 透過 AI 建議的操作實現日常 SOC 工作的自動化 |
| XDR 平台開發 | 人工智慧警報建議的人工智慧/分析師回饋循環——完成 | 事件響應手冊推薦的 AI/分析師回饋循環 | 分析分析師行動以提供 ML 事件響應模型 | 與 SaaS/IaaS 和安全產品 API 整合，以支持 AI 推薦的按鈕操作 | 與第三方 API 進一步集成，以支持半自主安全態勢和事件響應操作 |
| 安全人工智慧創新 | 用於人工智慧/分析師警報推薦回饋循環的 ML 模型 - 完成 | 用於事件響應配方推薦的 ML 模型 | 用於自動生成事件響應配方的 ML 模型 | 用於自動建議事件響應操作的 ML 模型 | 用於自動化死記硬背的 ML 安全工作的 ML 模型 |
| 基於 API 的自動響應創新 | 追踪用戶驅動的安全態勢更新 API 請求以支持 ML 自動操作模型 | 將 ML 模型建議自動翻譯為網路安全態勢 API 請求 | 通過安全態勢 API 請求實施半自主安全態勢行動 |
表 3：Sophos 實現 AI 輔助 SOC 的五年計劃
首先，提供人工智慧輔助的 SOC 需要多方面的實質性創新，但不需要研究奇蹟。事實上，對於我們正在開發的每項技術，在安全性之外都有成熟的存在證明。正如我們所討論的，安全警報推薦類似於現有媒體推薦系統（例如，Spotify）和產品推薦系統（例如，亞馬遜）解決的排序問題。
事件響應報告建議將幫助分析師，在響應新事件時利用組織知識，類似於 Siri、Alexa 和 Google Assistant 等個人語音助手支持的問答功能，後者從網路中，提取眾包文本片段來回答問題（例如，「鏈球菌性喉炎的常見症狀是什麼？」）。自動事件響應行動建議，類似於最近出現在 Microsoft Office 中的現代 AI 輔助幫助對話。因此，我們路線圖中的主要工作是將這些相鄰學科的技術和想法，轉換和調整到安全領域。任務不小，但也不是不可逾越的。
我們路線圖中的第二個重點是，到 2025 年，現代 SOC 的可供性將發生根本性轉變。尖端 SOC 將利用來自 SOC 分析師「人群」行為的即時數據饋送，這些數據由 AI 模型提煉，以顯著加快其工作流程。事實上，人工智慧輔助的 SOC，將為 SOC 分析師的工作流程提供一種「自動完成」功能，再加上相關資訊的預測顯示，這將改變安全工作流程。
最後一點是，從科學和工程的角度來看，我們的路線圖代表了對安全行業內轉型、人工智慧輔助變革的可能性的巨大賭注，因此，需要改變思維習慣和長期質疑 - 我們行業內的假設。這將需要反覆試驗，並適應在現有方法上嘗試新方法所帶來的不確定性。我們致力於這一旅程，並相信如果我們要成功突破長期存在的障礙，以更好地防禦網路安全，我們的行業必須適應。
Sophos 的 AI 輔助 SOC 研發工作
人工智慧輔助的 SOC 真的觸手可及嗎，還是會繼續「僅僅五年之後？」在本節中，我們通過描述 Sophos AI （Sophos 專門的安全機器學習和人工智慧研究團隊）當前的研究來顯示，我們的願景是易於處理的。我們在三個領域描述了我們的工作：ML 警報推薦、ML 安全數據豐富，和基於 AI-UX 價值電路的行為檢測。 表 4 總結了 Sophos 的每個研究線程的目的和成熟度，以及每個線程如何有助於我們對 AI 輔助 SOC 的總體願景。
| 研究線程 | 目的 | 到期 | 對整體 AI 輔助 SOC 願景的貢獻 |
|---|---|---|---|
| 機器學習警報推薦 | 根據分析師群體的回饋，優先向 SOC 分析師發送高價值警報 | 目前在 Sophos 的託管 SOC 服務中處於「測試」階段 | 實現多產品告警的ㄖAI-UXㄖ價值迴路 |
| 機器學習安全數據豐富 | 利用人群數據為分析師提供決策相關信息 | 多個成熟的原型，其中一些在 Sophos 的產品中 | 實現預測 SOC 分析師所需數據的第一步 |
| 基於AI-UX值電路的離地檢測 | 在分析師和基於 ML 的檢測器之間創建反饋循環，以迭代地提高離地檢測精度 | 目前在 Sophos AI 團隊的早期原型和開發中 | 通過對類似的低級別事件進行分組，我們將使分析師筆記推薦成為可能 |
表 4：支持 AI 輔助 SOC 路線圖的三個 Sophos 研究線程
機器學習警報推薦
Sophos AI 正在建構並迭代改進一個原型，用於預測分析師認為相關的警報。圖 5 給出了警報升級預測的設置。該圖左側的面板顯示了 SOC 分析師，在對警報進行分類時參與的工作流，決定哪些警報作為誤報丟棄，哪些警報升級為值得跟進。右側的面板顯示了機器學習如何在我們的實驗中，學會模仿和預測分析師的決策，以便我們優先處理最有可能升級的警報，以便他們首先解決這些問題。
圖 5：Sophos AI 的原型警報推薦引擎
我們使用來自 Sophos 的 MTR（託管威脅響應）服務的內部數據，建構了我們的原型，該服務在（當時）大約 4,000 個獨特的客戶環境中運行。我們的評估結果如表 5 所示，該表顯示了我們不使用 ML 警報排名（即，隨機向分析師顯示超過特定嚴重性閾值的警報）的場景和我們使用的場景之間的模擬烘焙毫升。
機器學習在這裡的影響是巨大的。在使用 ML 排序的分析師檢查的前 50 個案例中，他們升級了 41 個；而在不使用 ML 排序的分析師檢查的前 50 個案例中，他們只升級了 4 個。結果很明確：根據 SOC 分析師決策數據源進行訓練的機器學習警報排名引擎，可以顯著提高 SOC 分析師的效率，即使是成熟的傳統生成邏輯產生的警報也是如此。
| 隨機排序（類似於現實世界，今天） | 通過對 ML 懷疑分數進行排序達到的升級案例的百分比 |
|---|---|
| 檢查50個案例發現4個升級 | 檢查50個案例發現41個升級 |
| 檢查184個案件發現13個升級 | 審查 184 起案件，發現 92 起升級 |
| 檢查731個案件發現51個升級 | 檢查731個案件發現146個升級 |
表 5：Sophos AI 案例升級原型的結果
圖 6 顯示了一項實驗的結果，該實驗目的在顯示，我們的警報升級預測原型的準確性，如何隨著訓練數據量的增加而增加。在實驗中，我們隨機抽取訓練數據，增加樣本量直到達到 7500 個數據點，總共運行 500 次實驗。如圖所示，隨著我們訓練數據量的增加，我們系統的準確率也隨之提高。這些結果顯示，隨著我們擴展警報升級預測，我們的結果將繼續改進。
圖 6：隨著訓練數據量的增加，案例升級預測的準確性提高
使用 GPT-3 規模語言模型，進行類似 Google 的自然語言問題和回答
除了建構安全警報推薦引擎外，Sophos AI 還朝著構建自然語言安全問答系統邁出了重要一步。我們發現的策略利用了非常大的語言模型，並在網絡規模的文本數據集上進行了預訓練，從而獲得了最佳結果。我們發現我們可以「微調」如此大的模型，來處理從各種自然語言（例如英語、法語和中文）到我們開發的特定領域安全搜索語言的翻譯問題。
圖 7 展示了我們的原型（稱為 AIQuery）如何在非結構化、自由格式的查詢（例如「向我展示由開發 iphone 的公司開發的 USB 設備」）和我們為查詢安全數據庫定義的特定領域搜索語言之間進行轉換- 相關數據（query_usb_devices(vendor='apple')）。值得注意的是，AIQuery 瞭解到，在結構化數據庫查詢的上下文中，對「開發 iphone 的公司開發的設備」的引用應翻譯為「蘋果」，而對「由擁有 Windows 的公司開發」的引用應該翻譯給微軟。
圖 7：Sophos 自然語言查詢界面的翻譯示例
我們期望像我們的 AIQuery 自然語言介面這樣的技術，將透過回答大多數用戶問題，來顯著更容易地回答有關複雜網路拓撲的安全相關問題，而無需他們導航複雜的菜單系統，或使用 SQL 等語言編寫複雜的查詢。這將使用戶解放出來，以便他們可以專注於需要編寫自定義查詢代碼的安全方面，真正困難的資訊檢索問題。
基於 AI-UX 值電路的離地檢測
Sophos 在構建 AI 輔助 SOC 方面的研究投資的第三個方面，側重於基於即時人類/ML回饋循環檢測離地（也稱為「無文件」）對手行為。在這項研究中，我們向 SOC 分析師展示了新穎的可疑集群，他們將集群標記為良性或可疑。
當出現新行為與之前被大量分析師，標記為良性的集群相比對時，我們會忽略它們，而當新行為形成新集群，或對我們的機器學習模型看起來可疑時，我們會將它們提交給分析師以供決策。由於 quora 分析師將集群標記為「惡意」，因此與這些集群比對的新行為，優先於所有其他行為進行審查。
圖 8：我們的 AI-UX 價值電路離地檢測模型的架構圖
- XDR 平台透過每個客戶將廣泛的安全數據，儲存到雲數據儲存中，越來越多地提供必要的數據，來訓練必要的 AI 模型。差異化的 XDR 平台不僅可以實現安全操作，還可以作為訓練和持續磨練這些 AI 模型的環境。
- 人工智慧中出現的令人眼花繚亂的長期創新，包括算法創新、專用人工智慧硬體和快速改進的人工智慧開源工具，將成為開發必要的安全人工智慧模型的推動因素。人工智慧在安全性，和有用的人工智慧輔助方面的輕率，和無法量化的主張之間的差異，將變得像 1995 年 Altavista 和 2022 年谷歌搜索引擎結果之間的差異一樣明顯。
- 關於 IaaS、SaaS 和安全產品配置的「API 無處不在」的發展意味著，展望未來，自治代理將有能力更新組織的安全態勢，促進網路環境的人工監督 AI 管理。未能擁抱「一切皆為代碼」運動的安全營運平台將是短暫的。
- 我們的研究表明，我們對人工智能輔助 SOC 的願景可以在五年內實現。我們的任何論點都不應被視為顯示我們的願景很容易實現，即使我們很好地實現了目標，它也不會有風險，或者即使我們確實實現了目標，安全也將是「解決了問題。」 但我們確實相信，作為網路防禦者和安全產品、平台和服務的開發者，不斷改進是我們的道德使命，也是這樣做的途徑。
圖8 描述了我們原型的工作流程。雖然對該原型的完整描述，超出了我們目前的範圍，但值得注意的是，將 13200 萬個獨特的行為觀察，減少到 334 個高優先級升級。透過將聚類與懷疑評分和異常檢測相結合，然後結合分析師回饋，以提高檢測準確性，我們的原型大大減少了分析師的工作量，並允許分析師在難以處理的數據氾濫中磨練真正有趣的事件。
結論
本白皮書認為，用戶介面的發展，指向人工智慧模型與用戶意圖的無縫和復雜整合，最複雜的技術領域已經實現了這一點，並且在未來 5 年內，SOC 軟體產品供應商要麼在安全範圍內實現這一點，或者變得越來越無關緊要。實際上，我們將實現一個「安全操作推薦引擎」，它可以與我們對 Google、Amazon 和 Netflix 所期望的實用程序相媲美。我們展示了以下內容：
 |
0 comments:
張貼留言