iF+ 系列雙系統免接觸式智慧門鎖

（請點擊 ↑ 連結詳細介紹）

面對近年來出生率下降，和人口迅速老齡化導致的人口下降，勞動力短缺加劇。鐵路行業和其他行業一樣，情況也如此。節省勞動力的檢查解決方案已經變得非常重要。 NEC 的車載軌道巡邏支援系統，有助於在火車沿著軌道行駛時，以影像和圖像捕獲的，軌道上或軌道附近的障礙物的自動檢測和視覺化。這提高了效率，並確保了安全、可靠的鐵路服務。本報導詳細介紹了 NEC 的車載軌道巡邏系統，概述了系統配置，提供了應用示例，並討論了未來的前景。

1. 介紹

日本的許多行業都受到了出生率下降、社會老齡化和人口減少，導致的勞動力萎縮的影響。因此，鐵路行業在獲得必要的維修人員和司機方面，遇到了更大的困難，因此節省勞動力的解決方案，和提高營運效率變得更加緊迫。為了解決這些問題，該行業正在加快努力使用涉及人工智慧（AI）和物聯網（IoT）的技術。

傳統的軌道巡邏，是指經驗豐富的維修人員，乘坐正在執行的火車的前車，並直觀地監測鐵路軌道沿線的環境，以及車輛和基礎設施的狀況，觀察任何可能阻礙鐵路執行的跡象。根據鐵路公司指定的時間表，這項任務通常分配給負責軌道維護、電力、訊號和施工的維護人員之一。我們將此作為一項任務，在開發我們的機載軌道巡邏支援系統*時，可以實現大幅節省勞動力和提高效率。

安裝在火車前部的兩支攝影機，在火車沿著鐵軌行駛時，捕捉周圍環境的影像和圖像。即時分析捕獲的影像，以自動評估條件，並確定是否存在任何超出所需間隙的障礙物。該系統支援傳統的軌道巡邏，通常由機載維修人員直觀地執行，以幫助使維護程式更安全、更可靠、更有效率。只需指定軌道巡邏的預期日期和時間，就可以透過無線網路，自動獲取和分析鐵路軌道沿線環境的影像和圖像。如果在給定位置檢測到障礙物，機載軌道巡邏支援系統會自動對該位置的影像和圖像，進行分類並建立報告。這也使得建立報告所需的工作成為可能 —— 這是一項額外的耗時任務，通常由維護人員在視覺確認後手動執行。

我們將提供車載軌道巡邏支援系統，影像分析引擎的技術概述，然後是應用示範案例，最後，我們將討論未來的前景。

*
該專案的一部分得到了日本土地、基礎設施、交通和旅遊省的補貼，以幫助發展鐵路技術。

2. 影像分析引擎的技術概述

車載軌道檢查支援系統的核心，是結構儀表障礙物檢測的功能。結構規定義了空間範圍，參考了鐵路軌道的位置，禁止建造任何結構，或放置任何可能干擾火車執行的物體。必須消除這個空間中存在的任何異物，無論是鐵路基礎設施的問題、墜落的物體、動物屍體，還是植被的過度生長，都必須消除，以確保火車行駛的安全。即使異物因某種原因接近鐵路軌道，也有必要檢測它，並採取適當的措施，以防止火車在軌道上行駛時，受到任何干擾。
此功能從安裝在火車前部的攝影機，所拍攝的鐵路軌道，及其周圍環境的影像和圖像中，獲取三維 (3D) 資料。然後分析該數據，以確定必須清除的軌道附近是否有異物。3D 資料採用多個點的形式，每個點都有一個三維座標。然後將這些點聚合成點組。如果在結構量規的邊界內，偵測到一個點，則將其確定為障礙物。

2.1 使用多視角立體測量的 3D 重建

兩支攝影機安裝在火車的最前面，目的在全面覆蓋軌道。這些攝影機拍攝的影像和圖像是三維測量的，以提供儘可能準確的檢視。因為使用了兩支攝影機，所以立體測量可用於 3D 重建。此外，當火車沿著軌道行駛時，攝影機會持續拍攝立體影像，並從許多不同位置，獲取同一場景的多視角影像。然後，攝影機捕獲的二維（2D）影像可以用 3D 再現，大大提高了 3D 估計的品質。
一種名為結構運動（SfM，structure-from-motion）攝影測量的技術，從移動攝影機拍攝的影像和圖像中，執行 3D 輪廓重建。SfM 攝影測量，不僅可以測量影像中物體的幾何輪廓，還可以同時估計攝影機的運動。估計攝影機運動的其他方法，是使用全域性位置系統（GPS）、計算車輪旋轉次數，以測量行駛距離的遠端測量儀器（DMI），或檢測火車車廂行為的慣性測量單元（IMU）。
然而，影像分析中使用的攝影機運動資訊需要非常精確，這些替代品中使用的感測器，容易受到地理因素引起的無線電干擾，也可能受到火車車輪旋轉的影響。因此，透過使用僅根據影像資訊，估計攝影機運動的方法，可以實現更高的精度。
攝影機每天執行，每天從安裝它們的多列火車上，拍攝幾個小時的全高畫質（HD）影像，捕獲的影像被彙總在資料中心中。由於結果必須在指定的時間範圍內呈現，SfM 攝影測量需要大量的計算。為了最佳化效能，該系統使用視覺同步定位和對映（SLAM）與 SfM 相結合。SLAM 是技術的通用術語，該技術同時估計其位置，並生成環境地圖。當攝影機被用作輸入裝置時，它被稱為視覺 SLAM。我們現在正在開發一種，來自 SfM 攝影測量的視覺 SLAM 形式，該格式專門用於機器人，和自動駕駛車輛導航的即時處理。

2.2 結構儀表中障礙物的高速檢測

當輸入影像時，應用視覺 SLAM 並執行攝影機運動資料，和粗略 3D 資料的高速測量。「粗略」是指測量粗略地基於一組點，在這些點中只能捕捉場景中主體的輪廓。該系統目的在確定結構規中的任何障礙物，因此它可以檢測結構規中可能被阻礙的可疑部分，而不會遺漏任何內容。多視點重建僅適用於已偵測到的可疑部分。透過將一組點的粗略數據改為高密度數據，系統可以利用詳細影像，來驗證結構量規中是否存在障礙物。因此，系統在不影響測量精度的情況下，實現了高速檢測。高密度 3D 修復結果如圖 1 所示。

接下來，在捕獲的影像中檢測到導軌（圖2（a））。然後，與結構規格相對應的框架，沿著軌道的線性形狀放置。該系統確定結構儀表中，是否存在一組高密度點。如果是這樣，系統會發出警報，顯示結構儀表中存在障礙物（圖2（b））。

3. 案例研究 – 九州鐵路公司

2020年4月，九州旅客鐵道公司（JR 九州）開始使用我們的車載軌道巡邏支援系統。系統配置大致分為機載單元（OBU，Onboard Unit）和地面單元（Ground Unit，圖 3 和圖 4）。

OBU 接收顯示火車位置的資料，並捕獲軌道影像，然後傳輸到地面單元。無線 LTE 網路用於通訊，即使在火車行駛時也能傳輸捕獲的影像。在地面單元，用於顯示和分析伺服器的伺服器，安裝在資料中心中。影像與相應位置的資訊匹配，並儲存在伺服器上。收集到的資料由影像分析引擎處理，以確定是否存在障礙。分析結果和收集的影象在顯示器上檢視，報告在維修人員工作的辦公室輸出（圖。 5）。

4. 未來前景

4.1 差異檢測技術的發展和 3D 點組的使用

未來將納入車載軌道巡邏支援系統的元件技術，包括差分檢測、異常檢測，和基於虛擬實境（VR）的軌道檢查。

4.1.1 差異檢測

差異檢測首先記錄典型條件下的影像（參考影像），然後將其與巡邏期間拍攝的影像（測試影像）進行比較，以檢測出現差異的部分（圖 6）。這使得收集顯示需要維護的專案，存在的條件的影像成為可能。當這些條件被輸入到機器學習中時，它們之間的差異將從影像中檢測到。然而，在實際操作中，需要維護的專案非常多樣化，以至於很難以全面的方式收集它們。透過將與典型條件的差異，定義為要維持的現象候選者，這個問題可以得到解決。

4.1.2 異常檢測

就像我們可以直觀地感知任何偏離規範一樣，我們現在開發的異常檢測，將允許在不精確記憶典型條件的情況下檢測偏差。例如，一旦人類看到物體在欄杆上或附近被吹走、軌道變形等，他們就會立即注意到有些不對勁（圖 7）。

為了實現這一目標，在深度神經網路中，記憶顯示典型條件的影像（以及少量顯示偏差的影像）。偏差被檢測為典型條件的異常值。與差異檢測一樣，這項技術也消除了收集罕見偏差，並將其輸入機器學習系統的需要，進一步提高了軌道巡邏支援操作的效率。

4.1.3 基於 VR 的軌道檢查

由於冠狀病毒大流行，和經驗豐富的維護人員數量的減少，透過減少現場檢查等活動，來減少工作量變得非常重要。透過使用圖1 所示的 3D 測量，來建構 VR 空間，我們正在開發一個基於 VR 的軌道檢查系統，該系統可以在同一空間中，執行檢查所需的任務。在 VR 空間中，我們將實現一個使用者介面，該使用者介面提供與實際將測量裝置，放置在目標上，以測量專案相同的可用性。我們假設測量點，將放置在軌道的兩側，以及在 VR 空間中再現的設施的特定位置，在那裡可以測量測量點之間的距離。例如，可以測量包含特定雜草生長範圍的點，以確定發生了多少生長。

4.2 使這個系統成為更容易獲得的服務

展望未來，我們希望普及我們的軌道檢查支援系統，因為我們相信這項技術有可能顯著改善，許多鐵路公司的軌道檢查操作。目前的軌道檢查支援系統，是作為現場產品提供的。然而，透過最大限度地減少初始匯入成本，並根據使用頻率和選定功能，提供價格系統，我們計劃將軌道檢查支援系統，轉換為雲端的訂閱服務，以便更多鐵路公司發現易於佈署。

監控商機探索～～～

如果台灣每個車站都是智慧車站，能為安控業者帶來多少商機？