台灣的垃圾處理如果能導入監控解決方案,並形成典範,將有可能成為很多國際上的都會,願意來參考的目標,但是這將考驗政府部門有沒有前瞻的思維,還有,監控業界對「演算法」這項技術的採用與發展,是否有清楚的認知 ……

NVIDIA DEVELOPER


Klacci 凱樂奇商用級智慧門鎖各種應用解決方案


過去幾十年,垃圾產生量激增,這與經濟發展和城鎮化發展密切相關。垃圾產量的激增,為世界各國政府在更有效率地處理和管理垃圾方面,帶來了巨大挑戰。儘管已開發國家已經實施了垃圾分類制度,但由於污染問題,仍有相當一部分垃圾最終被填埋或焚燒,導致可回收材料不永續浪費。

本報導介紹了我們的邊緣運算和電腦視覺解決方案,該解決方案用於檢測垃圾收集車中的塑膠袋污染。該解決方案使用 NVIDIA Metropolis 應用框架,包括 NVIDIA Jetson、NVIDIA TAO Toolkit 和 NVIDIA DeepStream SDK。

為什麼垃圾管理實踐必須改變

傳統的垃圾管理方法,例如掩埋和焚燒,不僅無法解決日益嚴重的垃圾問題,還會帶來嚴重的環境和健康風險。各國加強垃圾回收和管理實踐,以確保永續的未來,已變得日益重要。

在地方垃圾管理領域,生活垃圾污染是阻礙回收的一大難題。這個問題引起了地方政府的高度重視,促使政府採取諸如垃圾桶標籤和垃圾審查等創新策略,以正面應對這一問題,並收集必要的污染相關數據,為決策提供依據。

然而,目前普遍存在的垃圾桶標籤操作,極度依賴人工干預,通常由垃圾收集卡車司機,使用車載攝影機目視檢查垃圾容器。然而,這種勞力密集方法不僅會消耗駕駛者的體力,還會引入主觀性和潛在的數據差異,需要額外的分析和時間資源。

徹底改變垃圾管理實踐、提高效率和永續性的緊迫性,從未如此突出。為此,開發一套利用尖端技術的自動化垃圾污染檢測系統,已成為當務之急


上敦 AXXON 台灣總代理

邊緣運算解決方案

為了解決垃圾污染問題,我們以 NVIDIA Jetson 和 NVIDIA Metropolis 的框架,運用最新技術,開發了一套邊緣運算影像分析解決方案:

  • 電腦視覺
  • 智慧影像分析
  • 邊緣運算
  • AI


本系統基於以下理念:從卡車料斗中捕捉垃圾影像,使用 NVIDIA Jetson 邊緣 AI 平台進行處理,以檢測塑膠袋污染情況,並儲存污染相關資訊以供進一步分析。 YOLOv4 深度學習模型使用我們的 Remondis 污染資料集 (RCD) 進行訓練,並使用 NVIDIA DeepStream 佈署到邊緣運算解決方案。

Remondis 污染資料集

訓練用於電腦視覺任務的卷積神經網路 (CNN) 模型,需要包含相關影像的大量資料集。然而,垃圾污染偵測問題仍未被充分探索,尤其是在複雜的實際應用場景中。現有研究大多採用僅包含一種污染物的簡單數據,且通常採用高解析度影像,從而過度簡化了問題。遺憾的是,這些模型在處理污染物,與其他各種廢棄物成分共存的真實場景時存在侷限性,這些場景通常伴隨著複雜的光照條件,和較差的圖像品質。

為此,我們率先推出了 RCD,這是一個全新的訓練資料集,精心整理自回收公司 Remondis 的歷史記錄。該資料集展示了捕捉塑膠袋污染實例的圖像,涵蓋了多種光照條件、捕捉角度和低解析度,從而更能代表現實世界的複雜性。

最終資料集包含 1,125 個樣本(968 個用於訓練,157 個用於驗證),總共包含 1,851 個邊界框註釋(1,588 個用於訓練,263 個用於驗證)。圖 1 展示了來自 RCD 的部分註釋樣本。

圖 1. Remondis 污染資料集中的樣本

系統開發

我們開發了一套自動化解決方案,用於檢測垃圾車中的塑膠袋污染,該方案使用車載類比攝影機處理影像,並佈署了利用 NVIDIA 加速運算技術的電腦視覺模型。概念如圖 2 所示。

開發的系統包括:

  • 安裝在垃圾車上的類比攝影機(三菱 C4010),用於捕捉垃圾車收集桶內垃圾的桶鬥。
  • NVIDIA Jetson TX2 系統級模組,用於使用經過訓練的電腦視覺模型處理和推斷垃圾圖像。
  • 電腦視覺模型(YOLOv4 和 CSPDarkNet)用於檢測影像中的塑膠袋污染。


 圖 2. 所提系統的概念圖

以 CSPDarkNet_tiny 為骨幹的 YOLOv4 模型,用於塑膠袋檢測。模型使用 Python、TensorFlow 和 Keras 的 NVIDIA TAO 進行訓練。 NVIDIA DGX 平台用於在 RCD 影像上訓練此模型。

所提出的解決方案的開發採用三階段方法(圖 3):

第一階段:資料準備

  1. 從 Remondis 歷史記錄和線上資源中收集原始資料集。
  2. 對收集到的資料進行處理和篩選,以確定潛在的訓練候選資料集。
  3. 使用 LabelImg 軟體繪製邊界框,對處理後的資料集進行塑膠袋標記。


第二階段:模型訓練

  1. 從現有的模型庫中篩選出合適的模型進行訓練。
  2. 使用 NVIDIA TAO 工具包訓練塑膠袋污染偵測模型。
  3. 密切監控訓練效果,確保訓練過程正常進行。


第三階段:測試與驗證

  1. 訓練好的模型匯出為 NVIDIA TensorRT 引擎,並佈署在 NVIDIA Jetson TX2 上。
  2. 硬體效能透過 GPU 使用率、溫度、CPU 使用率和 FPS 進行驗證。
  3. 硬體已在現場佈署,並收集了額外數據以微調模型。


 圖 3. 發展擬議系統的流程圖

訓練效果最佳的模型(以 CSPDarkNet_tiny 為骨幹的 YOLOv4)被匯出為 TensorRT,並使用 NVIDIA DeepStream SDK,佈署到 Jetson TX2 模組上。硬體設定(圖 4)在實驗室中使用與垃圾車上安裝的相同攝影機進行了測試。在實驗室驗證後,硬體設定被佈署到垃圾車上進行現場測試,和額外的數據收集。


4. 即時塑膠袋污染偵測的硬體設置
 

在電腦視覺模型效能方面,首次佈署的基礎模型,在 NVIDIA Jetson TX2 上實現了 63% 的 mAP@50 和 24.8 的 FPS。該模型使用首次佈署後,從現場收集的數據進行訓練,取得了更好的結果。使用現場資料重新訓練後,模型的 mAP@50 提高了 10%。此外,在假陽性 (FP)、假陰性 (FN) 和真陽性 (TP) 方面的表現也得到了提升(表 1)。圖 5 展示了電腦視覺模型成功偵測影像中塑膠袋污染的幾個範例。



 表 1. 基礎模型與重新訓練模型在現場收集的測試資料上的表現比較

 圖 5. 電腦視覺模型預測


未來研究方向

電腦視覺透過提取與污染物相關的資訊,在加深對垃圾污染的理解方面擁有巨大的潛力。一些值得關注的未來研究方向包括:

  • 多類型檢測:已開發的解決方案,可擴展至檢測多種類別的塑膠袋和包裝材料。這將有助於更好地了解,哪些類型的塑膠袋在污染中較為常見,並據此採取相應的控制措施。
  • 坑洞偵測:已佈署的邊緣電腦,可以使用相同的運算資源,搭載多個經過訓練的電腦視覺模型。在此背景下,可以訓練另一個模型來偵測道路上的坑洞,並幫助市政當局辨識受損道路,並快速修復。
  • 路邊垃圾偵測:與坑洞偵測類似,安裝在卡車上的其他攝影機也可用於偵測路邊垃圾。這有助於更好地管理環境,並進行社區教育。


tyco 監控攝影機系列 總代理上敦企業


總結

本報導詳細介紹了我們用於檢測垃圾收集車中,塑膠袋污染的邊緣運算影像分析解決方案。此類解決方案有助於改善垃圾回收,提高永續性,並進行社區教育。

NVIDIA Jetson 平台的邊緣 AI 和機器人技術,我們利用垃圾車上安裝的攝影機拍攝的畫面,偵測其中是否有塑膠袋。為了更好地訓練這個電腦視覺模型,使其能夠更好地適應這個獨特的應用領域,我們開發了一個極具挑戰性的全新資料集,稱為 Remondis 污染資料集

此電腦視覺模型在污染檢測領域的成功佈署,和令人鼓舞的成果,顯示其在改善廢棄物管理方面擁有巨大的潛力。該系統可以擴展用於檢測多種類型的污染和塑膠袋,從而更好地理解污染源。此外,卡車上安裝的其他攝影機,還可以用來偵測坑洞和路邊垃圾。