Klacci 凱樂奇交通運輸業解決方案

2019 年，全球公共交通乘客量接近 600 億。火車提供了一種永續、經濟且穩定的通勤方式，但事故卻頻傳，令人痛心。日本是人均交通運輸量最高的國家之一，自 2010 年以來，已有超過 7,000 人，死於這些大多可預防的火車事故，最近平均每天有兩人以上喪生。

在該專案中，我們將探索如何利用電腦視覺的力量，來預防和減輕鐵路事故。

💡

本計畫及個案研究是與日本小田急電鐵合作完成的研究計畫。

辨識問題案例

大多數火車事故，都是由軌道上的人員或車輛，與迎面駛來的列車相撞造成的。目前已有解決方案，例如在平交道和月台閘門上方，安裝提升軌道，但據一篇報導稱，每英里提高軌道的成本，高達數千萬美元甚至更多，而每個車站安裝月台閘門的平均成本，超過七百萬美元。

日本及世界各地的鐵路報告，和公共交通統計數據顯示，大多數事故主要發生在兩個地方：車站和平交道（人員和/或車輛通過軌道的地方）。

具體來說，死亡率最高的兩種情況是：人員墜落軌道，以及人員/車輛被困在平交道。

確定解決方案

為了解決、預防和避免這些問題領域，發生的事故，我們確定了三種檢測潛在或即將發生的危險，並啟動解決策略的方法：

人員跌落車站軌道：觸發煞車、鳴笛等。

人員或車輛卡在平交道中間：觸發煞車、鳴笛等。

人員危險地靠近軌道邊緣：鳴笛。

為了檢測這些危險，我們將開發一個電腦視覺模型，該模型能夠辨識列車影像來源中的以下物體：

人員

汽車

火車軌道

鐵路平交道

月台

在此應用案例中，快速檢測這些物件非常重要，因此為了有效處理影像來源的每一幀，我們將建立兩種不同類型的模型。對於偵測人員和汽車，由於它們在影像來源中，佔據的區域相對較小，因此物體偵測模型提供的邊界框，足以滿足偵測需求，而且速度很快。由於精度對於確定軌道、月台和道口的位置非常重要，我們將創建一個實例分割模型（通常速度較慢），來檢測這些鐵路基礎設施。

為了支援快速偵測和回應潛在事件，我們可以將這些解決方案佈署到列車上的裝置上，以便它們能夠在不依賴網路連線的情況下，快速做出反應。

Klacci 凱樂奇商用級智慧門鎖各種應用解決方案

使用 Roboflow 建立客運列車資料集

我們使用一台 GoPro 攝影機收集數據（有點好奇，為什麼不用專業監控攝影機），用於標記前面提到的專案，這些數據將用於我們的事故預防模型。該攝影機放置在小田急線特快列車的車頭前方，覆蓋了從藤澤站到東京附近的新宿站，全長 35 英里（55 公里）的路段，途經 33 個車站，停靠 5 個車站。

我們將首先建立一個用於偵測列車基礎設施（月台、軌道、道口）的模型。收集資料後，我們最初希望訓練一個初步模型，以便能夠使用模型輔助標記來加快標記過程。首先，我們透過選擇較低的幀採樣率，來導入我們捕獲的兩小時長的影片。

然後，我們開始標記資料集，使用智慧多邊形來幫助加快這個過程。

在標記了大約 30 張圖片後，我們訓練了一個初始模型，目的在幫助我們標記下一個迭代，並發現模型需要改進的地方。

我們的初步模型訓練，取得了令人印象深刻的結果，mAP（平均精確度）達到了 83.7%。從測試集的結果來看，它的表現還不錯，但仍有改進的空間。

從結果來看，我們可以看到模型主要難以辨識平交道和車站月台。為了幫助模型更好地學習這些區域，我們並沒有從整個行程中採樣 50 張圖像，而是以更高的每分鐘採樣率，從一個車站到另一個車站採樣 50 張圖像。這樣，模型就有更多包含月台，和平交道的訓練資料可供學習。

我們重複了幾次這個過程，經過幾次迭代後，在包含 200 張標籤影像的資料集中，我們獲得了 89.5% 的 mAP，提升了約 7%。查看測試樣本的結果，我們發現模型對月台、軌道邊緣和平交道的偵測更加流暢、準確且一致。

現在我們可以繼續偵測人員和車輛，以便正確辨識危險區域中的物體。

使用相同的影像數據，我們匯入了一系列在車站停靠，或經過車站的影像片段。這樣做是為了獲得專門包含人員的訓練數據，而這些人員大多在火車站。

由於 Roboflow Universe 上已經有一個用於人員檢測的資料集，我們使用該模型來快速標記影像。不到一個小時，我們就建立了一個性能非常出色的模型。

雖然對影像進行推理，確實揭示了模型的一些改進空間，但它確實準確地檢測到了大多數關鍵區域，這應該能夠追蹤人員實例（標記為綠色）開始離開站台（標記為黃色）或進入軌道（標記為紅色）的位置，從而觸發相應的警報。

為了達到我們的目的，我們將每個人邊界框的中央底部（通常與他們的腳有很好的對應性）作為他們站立的位置。我們可以將這些點與實例分割模型的結果進行比對，以判斷他們是安全地站在月台上，還是處於需要採取行動的位置。

透過使用生成式影像模型，我們可以編輯現有的真實影像，創建模擬不安全情況的影像。在本例中，我們看到大多數人安全地站在標記為站台的區域（綠點）內，但有一人站在標記為軌道的區域（紅點）內。

這時，由電腦視覺驅動的列車的快速反應時間，可以觸發盡可能多的必要措施以確保安全，例如觸發緊急煞車和喇叭，以及其他措施，包括警告司機和車站工作人員、警告急救人員等等。

結論

對此用例的進一步探索，可能涉及對走得太靠近月台邊緣的乘客，進行預先自動語音警告、直接連接到平交道口的電腦視覺系統等等。

使用 Roboflow 和電腦視覺，我們不僅能夠建立一個可能挽救生命的安全系統，而且能夠非常快速地完成這一目標，而且不需要多年的建設和數億美元的額外建設。