★ 車載軌道巡邏支援系統 —— 透過高階影像分析支援鐵路軌道檢查

鐵路檢查車成像

不只是縮時，還有粉塵、噪音、位移偵測

面對近年來出生率下降和人口迅速老齡化，帶來的人口下降，勞動力短缺已經惡化。鐵路部門和其他行業一樣。節省勞動力的檢查解決方案，已經變得非常重要。NEC 的車載軌道巡邏支援系統，有助於自動檢測和視覺化鐵路軌道上或附近的障礙物，當火車沿著軌道行駛時，捕捉到影像圖像。

這提高了效率，並確保了安全、可靠的鐵路服務。本報導詳細介紹了 NEC 的車載軌道巡邏系統，概述了系統配置，提供了應用示例，並討論了未來前景。

1. 介紹

由於出生率下降、社會老齡化和人口減少，日本的許多行業都受到了勞動力萎縮的影響。因此，鐵路行業更難獲得必要的維修人員和司機，因此節省勞動力的解決方案，和更高的營運效率變得更加緊迫。為了解決這些問題，該行業正在加快使用涉及人工智慧（AI）和物聯網（IoT）的技術。
常規軌道巡邏，是指經驗豐富的維修人員乘坐正在服役的火車的前車廂，直覺式觀地監控鐵路軌道沿線的環境，以及車輛和基礎設施的狀況，觀察任何可能阻礙鐵路營運的跡象。根據鐵路公司規定的時間表，這項任務通常分配給負責軌道維護、電力、訊號和施工的維修人員之一。我們把這作為一項任務，在開發我們的船上軌道巡邏支援系統時，可以顯著節省勞動力並提高效率。
安裝在火車前部的兩個攝影機，捕捉了火車沿著鐵路軌道行駛時周圍環境的影像圖像。對捕捉到的影像進行即時分析，以自動評估條件，並確定是否有任何障礙物超過所需的間隙。該系統支援常規軌道巡邏，通常由機載維修人員目視執行，以幫助使維修程式更安全、更可靠、更高效。只需指定軌道巡邏所需的日期和時間，就可以透過無線網路自動獲取和分析鐵路軌道沿線環境的影像圖像。
如果在給定位置檢測到障礙，機載軌道巡邏支援系統會自動對該位置的影像圖像進行分類並建立報告。這也使得大大減少建立報告所需的工作成為可能 —— 這是一項額外的耗時任務，通常由維護人員在視覺確認後手動執行。
我們將提供機載軌道巡邏支援系統影像分析引擎的技術概述，然後是應用案例，最後，我們將討論未來前景。

*

該專案的一部分得到了日本土地、基礎設施、交通和旅遊省的補貼，以幫助發展鐵路技術。

2. 影像分析引擎的技術概述

車載軌道檢查支援系統的核心，是測量結構障礙檢測功能。軌距結構根據鐵路軌道的位置定義了空間範圍，禁止建造任何可能干擾列車執行的結構或放置任何物體。這個空間中存在的任何異物，無論是鐵路基礎設施的問題、墜落的物體、動物的屍體，還是植被的過度生長，都必須消除，以確保火車執行的安全。即使有異物出於某種原因接近鐵路軌道，也有必要檢測它，並採取適當措施，防止火車沿軌道行駛時受到干擾。
該功能從安裝在火車前部的攝影機，捕捉到的鐵路軌道及其周圍環境的影像圖像中，獲取三維（3D）資料。然後分析這些資料，以確定必須清除的軌道附近是否存在異物。3D 資料採取多個點的形式，每個點都有一個 3D 座標。然後將這些點彙總成點組。如果在結構儀表的邊界內檢測到一個點，則確定為障礙。

2.1 使用多視角立體聲測量進行 3D 重建

兩支攝影機安裝在火車的最前面，目的在提供軌道的全面覆蓋。這些攝影機拍攝的影像圖像，以 3D 方式測量，以提供儘可能準確的檢視。由於使用了兩支攝影機，立體測量可用於 3D 重建。此外，當火車沿著軌道行駛時，攝影機會不斷拍攝立體影像，並從許多不同位置獲取同一場景的多視角影像。然後，攝影機拍攝的二維（2D）影像可以 3D 再現，顯著提高了 3D 估計的品質。

一種稱為運動結構（SfM，structure-from-motion）的攝影測量技術，從移動攝影機拍攝的影像圖像中進行 3D 輪廓重建。SfM 攝影測量不僅能夠測量影像中物體的幾何輪廓，還能同時估計攝影機的運動。估計攝影機運動的其他方法，是使用全域性定位系統（GPS），計算輪子旋轉次數的遠端測量儀器（DMI，distal measuring instrument），來測量行車距離，或檢測火車車程行為的慣性測量單元（IMU，inertial measurement unit）。然而，影像分析中使用的攝影機運動資訊需要非常精確，這些替代品中使用的感測器，容易受到地理因素造成的無線電干擾，也可能受到列車車輪旋轉的影響。因此，透過使用僅根據影像資訊估計攝影機運動的方法，可以實現更高的精度。

攝影機每天執行，每天從安裝多個列車上拍攝數小時的全高畫質（HD）影像。捕獲的影像在資料中心彙總。由於結果必須在指定的時間範圍內呈現，因此 SfM 攝影測量需要大量的計算。為了最佳化效能，該系統將視覺化同步定位和對映（SLAM，simultaneous localization and mapping）與 SfM 結合使用。SLAM 是技術的一個通用術語，它同時估計其位置並生成環境地圖。當攝影機被用作輸入裝置時，它被稱為視覺 SLAM。我們現在正在開發一種來自 SfM 攝影測量的視覺 SLAM 形式，專門用於機器人和自動駕駛車輛導航的即時處理。

2.2 高速檢測結構儀表中的障礙物

當輸入影像時，應用可視 SLAM，並對攝影機運動資料和粗 3D 資料進行高速測量。我們所說的「粗糙」是指測量大致基於一組點，其中只能捕捉到場景中主體的輪廓。該系統目的在確定結構儀表中的任何障礙物，因此它可以檢測到結構儀表中，可能被阻塞的可疑部分，而不會丟失任何東西。多觀點重建僅適用於已檢測到的可疑部分。透過將一組點的粗資料更改為高密度資料，系統可以使用詳細影像，來驗證結構表中是否存在障礙。因此，該系統在不影響測量精度的情況下實現了高速檢測。高密度 3D 恢復結果如圖所示。 1.

接下來，在捕獲的影象中檢測到軌道（圖2（a））。然後，沿著軌道的線性形狀放置與結構表相對應的框架。該系統確定結構表中是否有一組高密度點。如果如此，系統會發出警報，表明障礙物在結構表中（圖2（b））。

3. 案例研究 – 九州鐵路公司

2020 年 4 月，九州鐵路公司（JR九州）開始使用我們的車載軌道巡邏支援系統。系統配置大致分為機載單元（OBU）和地面單元（圖。 3 和 4）。

OBU 接收顯示列車位置的資料，並捕捉軌道影像，然後傳輸到地面單元。無線 LTE 網路用於通訊，即使在火車行駛時也能傳輸捕捉到的影像。

在地面單元，用於顯示和分析伺服器的伺服器安裝在資料中心。影像與相應位置的資訊比對，並儲存在伺服器上。收集的資料由影像分析引擎處理，以確定是否存在障礙。分析結果和收集的影像在顯示器上檢視，報告在維修人員工作的辦公室輸出（圖 5）。

4. 未來前景

4.1 差分檢測技術的開發和使用 3D 點群

未來將納入機載軌道巡邏支援系統的元件技術包括差異檢測、異常檢測和基於虛擬實境（VR）的軌道檢查。

4.1.1 差異檢測

差異檢測首先記錄典型條件下的影像（參考影像），然後將它們與巡邏期間拍攝的影像（測試影像）進行比較，以檢測發生差異的部分（圖 6）。這使得收集顯示需要維護的專案存在條件的影像成為可能。當這些條件被輸入到機器學習時，將從影像中檢測到它們之間的差異。然而，在實際操作中，需要維護的專案是如此多樣，以至於很難以全面的方式收集它們。透過將與典型條件的差異，定義為待維持的現象的候選者，這個問題可以解決。

4.1.2 異常檢測

正如我們可以直觀地感知任何偏離規範一樣，我們現在正在開發的異常檢測將允許在不精確記憶典型條件的情況下檢測到偏差。例如，一旦人類看到物體在鐵軌上或附近被吹過，軌道變形等，他們就會立即注意到有些事情不對勁（圖 7）。

為了實現這一點，在深度神經網路中記住顯示典型條件（以及少量顯示偏差）的影像。偏差被檢測為典型條件的異常值。與差異檢測一樣，這項技術也消除了收集罕見偏差並將其輸入機器學習系統的需求，進一步提高了軌道巡邏支援操作的效率。

4.1.3 基於 VR 的軌道檢查

由於冠狀病毒大流行和經驗豐富的維修人員數量減少，透過減少現場檢查等活動，來減少工作量變得相當重要。透過使用圖1 所示的 3D 測量建構 VR 空間，我們正在開發一個基於 VR 的軌道檢查系統，該系統可以在同一空間執行檢查所需的任務。在虛擬實境空間中，我們將實現一個使用者介面，該介面提供與實際將測量裝置放置在目標上，以測量專案相同的可用性。我們假設測量點將放置在軌道兩側，和 VR 空間中再現的設施的特定位置，在那裡可以測量測量點之間的距離。例如，可以測量包含特定雜草生長範圍的點，以確定發生了多少生長。

4.2 使該系統成為更便捷的服務

展望未來，我們希望推廣我們的軌道檢查支援系統，因為我們相信這項技術有可能顯著改善許多鐵路公司的軌道檢查操作。目前的軌道檢查支援系統作為現場產品提供。然而，透過最大限度地減少初始引入成本，並根據使用頻率和選定功能提供價格系統，我們計劃將軌道檢查支援系統轉換為基於雲的訂閱服務，以便更多鐵路公司發現易於佈署。