cookieOptions = {...}; .智慧城市中智慧交通的電腦視覺技術,應用在道路佔用監控系統案例探討 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2021年3月5日 星期五

Computer Vision Projects Ideas



3S MARKET這篇國外(香港)案例,對比台灣各地,陸續在裝置實施的「科技執法違規停車取締系統」,相關在規劃的各方考量、技術解說,同時加入一些人性化考慮,安控業界以及相關主管單位可以參考與思考,我們的公共工程,到底該有哪些改進,可以讓台灣更進步 ……


PMC


摘要

在數位城市和綠色城市計劃中,智慧交通是發展智慧城市的關鍵方面,對全球建成區非常重要。頻繁停放卡車等雙重停車,和繁忙的路邊活動,對交通狀況有負面影響,特別是在交通密度高的城市。


因此,需要用於監視路邊裝卸的即時物聯網(IoT)的系統。本文透過為高清智慧攝影機配備無線通信,進行交通監控來開發一種完全整合的解決方案。此後,此系統稱為基於電腦視覺的路邊佔用監視系統(CVROSS,Computer Vision Road Occupation Surveillance System)。透過電腦視覺的網路,可自動捕獲即時路邊交通圖像,例如裝載或卸載活動的圖像。


透過利用收集到的數據,可以透過模糊邏輯,對路邊佔用和空置的決策支持進行評估,並為使用者可視化,從而提高路邊活動的透明度。CVROSS 是在香港設計和測試的,目的是在驗證停車位估計,和系統性能的準確性,目的在促進交通和車隊管理,以實現智慧交通。


1. 簡介目的是

交通堵塞是全世界持續存在的問題,導致經濟和社會挑戰。為了增強競爭力,暢通的交通條件,對於任何城市都非常重要。在開發智慧城市時尤其如此,其目的是充分利用資通信技術(ICT)來支持建立公民和組織之間,無處不在的互連網路,並透過物聯網共享數位數據和資訊(物聯網)。近年來,已經提倡智慧行動和智慧交通,以減輕上述社會和公共問題。


通常,頻繁的路邊裝卸活動,會對交通狀況產生負面影響。車輛數量的增加,以及關於路邊活動,佔用和空置的數據透明度不足,使情況變得更糟,並且在交通密度高的城市中,這個問題變得越來越重要。


例如,在繁忙時間,有限的路邊空間通常被卡車佔用,以進行裝卸,或由其他車輛佔用,以進行上落下車。在等待路邊空間可用時,某些車輛需要繞行道路網,或暫時進行雙重併排停車。圖1 說明了路邊雙重停車的實際情況,這是由物流卡車、公司小汽車,和其他障礙物的裝卸活動引起的。


這些操作會導致不必要的堵塞,並給其他道路使用者帶來安全問題,並且可能會影響交通流量。因此,路邊監視系統的應用越來越多,特別是在與交通堵塞增加有關交通監視的方面。


但是,當前的路邊監視系統具有局限性,例如受到車速的影響。為了發揮作用,路邊監視系統需要機器學習,和電腦視覺的技術,以促進和提高對車輛和物體,檢測和辨識的準確性和有效性。


隨著越來越多的路邊車輛,可能導致嚴重的交通堵塞,需要利用 ICT 和 IoT 技術的合適,且功能良好的系統。透過實施智慧行動,可以監控路邊的裝卸港、防止交通堵塞、促進交通,和車隊的規劃和管理,從而在智慧城市中,實現高效益的道路網路。此外,可以在智慧行動性的本體下,建立智慧交通和智慧停車。


圖1 現場路邊停車示例。


為了解決這些問題,本文提出了一種關於物聯網的路邊裝卸停靠監視系統,即適用電腦視覺的路邊佔用監視系統(CVROSS)。透過在電腦視覺的網路中,為一組無線高清視覺設備,配備機器學習和太陽能,可以自動觀察和捕獲即時路邊交通圖像(包括對裝卸活動的辨識),以增強路邊佔用和空置的透明度。制訂了用於停車間距計算,和停車位分配的決策支援模式,以消除重複停車的發生,同時應用模糊邏輯,解決車輛停車位預訂的模糊性,和車輛停留時間的估算。


 結果,所提出的系統可以評估平均空間利用率、裝卸活動,以及平均停車等待時間。物業管理公司和駕駛員,可以從節省時間,和在繁忙的建築區域的交通順暢中受益。為了驗證擬議系統的性能和可行性,選擇在香港觀塘區(香港最繁忙的路邊裝卸區之一)進行了案例研究。


這使制訂積極的策略成為可能,不僅提高了運輸和交通流量的效率,而且還提高了公眾的路邊安全性。成對樣本 t-test,用於評估有關估計停車位差距(從 CVROSS 生成),與實際停車位差距之間的差異的假設,從而可以驗證 CVROSS 的性能。此外,透過對駕駛員和財產管理公司代表,其使用和負責路邊區域管理進行調查,來評估滿意度和系統性能。


本文的組織結構如下:第 2 節包含與本研究相關的文獻綜述。在第 3 節中,將介紹 CVROSS 的體系結構,說明如何在香港(公路使用最繁忙的城市之一)應用它。第 4 節介紹了一個案例研究,透過實施 CVROSS 來驗證其可行性和性能。第 5 節介紹了結果並討論了發現及其含義。最後,在第 6 節中得出結論。


2. 文獻綜述

在本節中,將對路邊監視系統進行概述。然後討論了路邊監控系統中使用的方法,和新興的物聯網技術,以界定本文所研究的差距。


2.1. 路邊監控系統概述

隨著技術的進步,路邊監視系統在對象檢測、跟踪、分類和行為分析方面,取得了長足發展,從而提高了準確性和可靠性。監視是指將系統的和常規的注意力,集中在某些人類行為上,以影響、管理、保護,或指導目的的過程。這可能需要藉助諸如閉路監視攝影機(CCTV)之類的電子設備,從遠處觀察或截取,諸如網路流量,或電話呼叫之類的電子傳輸資訊。


政府經常將監視用於情報收集,預防犯罪和調查,或用於保護過程、個人、團體或物體。例如,使用安裝在許多不同位置(例如沿高速公路安裝)的攝影機,來監視即時交通情況,通常是透過攝影機進行交通監視,從而控制交通流量,並促進政府的交通管理。根據 Valera 和 Velastin,路邊監視系統用於觀察路邊活動和車輛,以及道路使用者的行為,包括移動物體檢測、辨識、分類、跟踪、行為分析和檢索。


這樣就可以即時監視,特定環境中的持久性和瞬態對象。透過應用先進的資通信技術,路邊監視系統能夠解決諸如道路危險,和交通堵塞之類的運輸問題,並最終幫助實現運輸效率。平穩的交通條件,對道路使用者和公眾相當重要,交通堵塞可能導致一系列的負面影響。


根據羅賓遜的研究,交通堵塞所造成的成本非常昂貴,並且對生產力、燃料消耗、環境品質,和人類生活品質,具有明顯的負面影響。


交通堵塞的影響,包括但不限於旅途延誤、空氣污染和二氧化碳排放增加,緊急車輛的阻塞,以及擁擠道路,向其他道路的溢出影響。例如,交通堵塞可能會延遲卡車司機的裝卸活動計劃,從而影響物流公司的管理。一些車輛甚至繞過道路網,等待可用的停車位,這些浪費了燃料和能量。因此,路邊監控系統的最終目標,是促進交通和車隊管理,因為交通堵塞、事故和交通效率低下會浪費資源。


2.2. 路邊監視系統的方法

影像監視已引起科學家和工程師的注意,以針對電腦視覺,人工智慧和圖像處理的面向,應用的積極研究。這是基於智慧影像的監視系統日益廣泛佈署,一個促成的因素。背景技術基於智慧影像的監視系統的最重要的應用之一,是用於應對日益增加的交通堵塞問題的路邊交通監視,這是近年來越來越引起人們的關注的地方。


當前的技術包括車輛檢測和跟踪,以測量交通參數和停車場管理。交通條件對道路使用者和整個社會非常重要。因此,路邊監視系統的各種應用,目的是在利用圖像處理方法,來獲得更好的交通狀況,並保持高水準的道路安全,從而實現更有效的交通網路。


近年來,用於測量交通參數的路邊監視系統的開發,一直是研究的重點。路邊監視系統使用車輛檢測和跟踪技術,收集有關車輛數量及其類型,速度和流量的數據。這有助於交通規劃,交通運營和人行道設計。根據 Huang 的研究,路邊攝影機已被用於估計車道邊界和消失點,從而根據車輛的實體長度,對車輛進行分類,以透過影像圖像處理技術,監控道路上的交通狀況。


此外,Coifman 等人的研究,設計了一種即時電腦視覺系統,該系統透過考慮日光和暮光,以及夜間的照明條件,用於車輛跟踪和交通監控。Saran 和 Sreelekha 還利用基於影像的監視系統,來測量交通參數。所使用的系統可以分為三個主要功能:車輛的檢測、分類和追踪,這也使車輛數量得以計數。為了提供即時分析資訊,使用了電腦視覺技術來處理圖像。隨著產生的交通資訊(交通堵塞、車輛數量、分類等),基於影像的監視系統有望實現,並維持有效的交通管理和道路安全。


透過考慮交通狀況,相關應用主要集中在車輛檢測和跟踪,使用運算技術處理數據和圖像。因此,可以生成有關交通參數的有用資訊,以進行進一步的分析、交通規劃、交通營運和人行道設計。


除了交通參數的測量之外,用於促進室內和室外停車場管理的監視系統的應用數量也在增加。在這種類型的應用中,系統主要用於計數停放的車輛數量,隨時間推移監視停放的車輛的變化,以及辨識可用的停車位。


無論在停車場還是在路邊,搜索停車位都會消耗大量的旅行時間。此外,在不使用智慧系統的情況下,即時維護和提供資訊始終存在困難。因此,近年來,許多研究人員研究了使用了視覺的停車場管理系統,來確定佔用和空置,並向使用者提供相關資訊的可能性。


Lin 等人提出了一種基於視覺的停車管理系統,來管理室外停車場,它使用在周圍建築物的閣樓中,設置的四支攝影機來記錄佔用和空置,然後處理數據並將資訊傳輸給使用者。捕獲灰度圖像,以保持顏色一致性,並提高系統的準確性。此外,Micheloni 等人透過在分級框架中,管理靜態和動態攝影機,為停車場使用了監視系統。


靜態攝影機系統,使用可變數量的靜態感測器,來同時維護所有對象的跟踪,而有源攝影機系統則使用雲台攝影機,捕獲目標的高清(HD)影像,以防止多感測器問題,多目標跟踪。


這些應用於停車場管理的監視系統,對於計數停放的車輛數量,監視停放的車輛隨時間的變化,以及辨識可用的停車位是有益的。它們也可能適用於路邊的裝卸區,以定位佔用和空缺,從而減輕了本文所要解決的問題。


2.3. 用於路邊監控的物聯網技術

隨著技術的最新發展,路邊監視不僅基於攝影機,而且還基於其他新興技術,目的在實現各種目的和目標。研究人員對放射線斷層成像(RTI),無線感測器網路(WSN)和用於路邊監視的電腦視覺的開發和應用最感興趣。無線電層析成像技術是一種新興技術,可以在無線網路中,被簡單廉價的無線電包圍的區域中定位,和跟踪移動的實體對象。


RTI 的概念源自雷達系統。RTI 利用雷達的概念,最初是透過在感興趣的區域周圍,放置小型廉價的無線電來工作的。無線電能夠發送和接收無線信號,從而形成了一個密集的,透過該區域的鏈接網路。如果物體在該區域內移動,它將反射或吸收無線信號,並阻止某些功率到達其目的地。因此,可以利用鏈路的功率損耗測量結果,來形成吸收功率的位置的圖像。


因此,它可以指示任何檢測到,和跟踪的對象的位置。最近,已提出 RTI 用於經由無線電波跟踪物體的位置,而不需要物體發送或接收無線電信號。當透過推斷哪些體素,阻礙了密集的無線感測器網路中,無線電鏈路的子集來提取位置時,會發生這種情況。安德森等人透過使用車輛類別,辨識算法將移動車輛的幀組合成單個圖像,展示了 RTI 在路邊監視和車輛辨識與跟踪中,具有安全無線感測器網路的 RTI 的新穎應用。


但是,RTI 技術受其檢測,透過網路行動的對象的速度的影響。速度受執行對網路區域的單次掃描,所花費的時間限制。道路上的車輛並非總是靜止的。如果某些車輛以超出系統規格範圍的高速行駛,RTI 可能不會記錄任何內容,從而影響交通參數的測量過程。因此,RTI 並不完全適合於全方位路邊監控,僅用於以較低速度,進行目標檢測和跟踪。


無線感測器網路使用網路微感測器技術,這是 21 世紀最重要的技術之一,也是未來的關鍵技術。無線感測器網絡提供了誘人的低成本,替代電感環路、影像和雷達的功能,可用於高速公路,交叉路口和停車場的交通監控。這些網路通常由一組感測器節點組成,包括感測器、微處理器,無線電、電池和接入點,以及無線電和功能更強大的處理器。


感測器節點用於處理即時測量,並透過線路或太陽能的直接通信,將有用的數據,傳輸到位於路邊的接入點。然後,這使得能夠檢測車輛並估算各種交通參數。Cheung 和 Varaiya 利用小型感測器節點的網路,相互之間進行無線通信,以感知實體世界。在使用感測器節點從檢測事件中收集數據之後,接入點可以計算受監控流量的數量,佔用率和速度。因此,很明顯,無線感測器網路為交通監控提供了一種誘人的、低成本的感應環路、影像和雷達替代方案。


但是,Tiwari 等認為,無線感測器網路,很容易受到其周圍環境的影響,例如,牆壁、微波,或由於遠距離而引起的信號衰減。這些網路與伺服器的通信速度也相對較低,並且容易被諸如藍牙之類的元件破壞。由於通信的不穩定和對中斷的擔憂,WSN 可能不適合為道路使用者和公眾,提供準確的交通數據和資訊。


此外,技術進步導致半自動系統(稱為電腦視覺)的發展,該半自動系統透過使用電腦,進行自動即時對象和事件檢測,以及輔助辨識來創建算法。根據 Huang 的觀點,從工程學的角度來看,電腦視覺目的在建構自治系統,並試圖以更高的效率自動化,由人類視覺系統執行的任務。


實際上,電腦視覺和模式辨識技術的應用,可以支持多個監視目標,例如交通違規的檢測和道路使用者的辨識。Beymer 等提出了一種基於特徵的跟踪方法,用於在交通擁堵期間跟踪車輛。可以將攝影機安裝在俯視交通場景的電線桿,或其他高大建築物上。


Huang 和 Yen 設計了一種即時的,基於顏色的電腦視覺系統,用於交通監控,方法是分析交通場景的彩色圖像序列,這些場景是透過將攝影機,固定在高層建築或交通號誌燈,附近的人行天橋上記錄的。儘管基於電腦視覺的監視系統具有各種功能,例如車輛檢測、辨識和分類,但是由於將收集的數據轉換為有用的資訊,可能會帶來挑戰,因此系統需要相對較長的處理時間和大量內建記憶體。


另外,為方便所需圖像的提取,而進行攝影機校準的設置既困難又費時。但是,根據 Zander 等人的說法。使用基於電腦視覺的監視系統,機器學習可用於提高物體檢測,和辨識的準確性和效率。因此,透過探索算法的構造,系統無需進行顯式編程即可學習。這有助於更有效地運算和測量,有關路邊活動、佔用、空缺和交通參數的即時資訊。


總之,有效的路邊監視系統,對於維持道路安全,解決交通擁堵,並促進交通和車隊管理非常重要。利用電腦視覺在交通參數測量和停車場管理中的應用,呈現出成長的趨勢。如果將電腦視覺技術適當地與機器學習,和大數據分析配合使用,則將具有強大的功能,而克服了處理時間長的缺點。


另外,這可以導致更好的分析,並具有較高的準確性和效率。此外,在利用電腦視覺時,應考慮改善攝影機校準,以保持系統的準確性、效率和有效性,並考慮到不同道路上的各種功能,例如周圍環境和陽光量。


3. 基於電腦視覺的路邊佔用監視系統(CVROSS)的設計

本節將介紹 CVROSS 的系統設計和建模。圖2 顯示了路邊佈署的 CVROSS 的說明性概圖。CVROSS 的設計包含四個主要組成部分:(i)使用物聯網的路邊監視技術;(ii)CVROSS 中的數據預處理;(iii)路邊停車的決策支持;以及(iv)對擬議系統的評估。 它目的在減少城市交通系統中的雙重停車問題,並提高路邊情況的可見性。路邊佔用和空置的透明度,可以進一步提高。


圖2 CROSS 概述。


3.1. 使用物聯網的路邊監控技術

為了有效地收集數據,已經設計並開發了基於物聯網的路邊監視系統(CVROSS),以解決裝卸貨艙的問題。如圖2 所示,CVROSS 配備了一組,具有太陽能功能的無線高清視覺設備,這些設備使系統能夠從路邊捕獲圖像。為了降低用電成本,並避免嚴重依賴外部電源或太陽能的風險,這些設備以無線方式連接到雲端平台,從而允許將數據連續傳輸到 CVROSS,並即時監控佔用和空缺數據,並保持最新狀態。每週即 7 天每天提供 24 小時路邊資訊。透過使用應用介面(API),可以在所提出的決策支持模式的預處理階段,檢查收集到的數據;因此,可以實時觀察路邊交通資訊。


透過視覺模組和機器學習,為使用者提供了數百種功能,可從多個視覺設備獲取圖像,並透過定位特徵、辨識物體和測量零件,進行進一步處理。此外,機器可以從經驗數據中學習,從而對未來的數據做出預測。預計將使用高清視覺設備,以在最大觀察精度和最小重疊視場之間提供最佳折衷,以產生最佳視點。然後透過去噪和圖像調整處理圖像數據,從而進行目標對象的檢測、辨識、分類和可用停車位的運算。


結果,可以向道路使用者提供關於即時路邊佔用,和空置的有用且易於訪問的交通資訊。此外,借助於在時域動態系統中,應用的機器學習技術,可以提高系統的準確性和效率。可以為道路使用者,物流公司和公眾生成各種報告,以透過大數據分析進行決策。


安裝連接到 CVROSS 的無線高清視覺設備後,基於雲端的伺服器可與 IoT 通信協議一起使用。數據分析和計算模組,充當後端雲端伺服器,並且檢索結果,並將其顯示在最終使用者的前端應用中。所提出的系統的處理流程如圖3 所示。可以提高路邊活動和資訊的透明度,並在圖像處理後的每個定時循環結束時生成報告。



圖3 CROSS 的處理流程。


3.2. CVROSS中的數據預處理

在運行 CVROSS 之前,必須設置參數,包括車輛類型,車輛停車位規定和行車道的最小寬度。這些符合香港特別行政區規劃署發布的規定。因此,系統可以將捕獲的圖像,與數據庫中的模板進行比較,以便在以後的階段中,更準確地處理圖像和數據。為了便於計算停車位和可用停車位,在計算過程中將忽略,由於與視覺設備的距離不同,而導致的所有物品的尺寸差異。換句話說,假設在一個情況下呈現的每個項目,都具有相同的尺寸(以毫米或像素為單位),而不管其相對於視覺設備的位置(就距離而言)。在計算過程中,主要參數包括:


視覺裝置的整個覆蓋範圍為 640×480 像素


每輛卡車 11 m 的規定停車位


每個貨車的 7 m 固定停車位


每輛私家車 5 m 的管制停車位


行車道最小寬度為 6.75 m


所有可能的車輛和物體的模板


置信度分數,表示每個模板的每個像素的視差的置信度(圖像分數返回 0 到 1000 之間的值,其中 1000 表示最高置信度)。


在將參數輸入到 CVROSS 之後,程序將啟動定時循環的第一階段,即視覺獲取。然後,連接到 CVROSS 的無線高清視覺設備可以連續自動地從路邊捕獲圖像。之後,所收集的數據將用於:(i)降噪以及(ii)車輛和物體的辨識和匹配。


3.2.1. 降噪

整個系統流程中,最重要的階段之一就是降噪。這是從圖像中去除噪聲的過程,因為噪聲可能會降低視覺品質,和後續處理任務的有效性。在這種情況下(根據仿真模式),在路邊和行車道中,會有不同的對象和信號,例如行車道中的交通指示器和號誌。但是,這些可能與車輛和物體的辨識與比對無關,因此它們可能對比對結果,和後續可用停車位計算的有效性,產生負面影響。此外,即使類似的車輛,例如在這種情況下,為兩輛私家車,也可能是同一型號,但顏色不同。


因此,降噪可以確保在進一步處理圖像之前,去除不相關的對象,指示符和信號。這也可以防止顏色分類問題。在圖4 中,示出了降噪的示例。在降噪之前,從視覺獲取中獲得的圖像充滿了障礙物,例如路標,交通錐和黃框標記。所有這些都阻礙了車輛和物體的辨識和比對。


使用「圖像蒙版」排除圖像的不相關區域,「彩色平面提取」將彩色圖像僅轉換為黑白圖像,「基本形態」以修改二進制對象的形狀,從而實現了降噪在圖像中,以及調整亮度。降噪後,指示器,交通錐和黃色框上的標記已被刪除(塗黑),只有私家車保留在螢幕上,其形狀以白色顯示。 


圖4 降噪示例。


3.2.2. 車輛和物體辨識與比對

CVROSS 提供了兩種常見的比對方法:模式比對和幾何比對。如果所有需要檢測和比對的項目,都具有相同的特徵,則模式比對是最好的方法,因為它將比較模板和捕獲圖像中項目的所有特徵和顏色。但是,並非所有車輛和物體都相同。例如,一些車主可能會在車頂或車體上油漆。因此,並非所有對象都具有相同的圖案或顏色。這可能會對車輛和物體辨識與比對的有效性,產生負面影響。


結果,連同降噪(僅將捕獲的圖像轉換成黑白圖像的二進製圖像)一起,幾何比對似乎更適合在 CVROSS 中,用於根據其形狀檢測,辨識和比對不同類型的車輛和物體,長度和其他重要功能,以及確定提及的圖像得分值。它可以防止由於圖案和顏色不同而導致無法辨識和比對項目。


在這種情況下,當適當地獲取圖像,並且減少了噪聲時,則可以執行辨識和比對的過程。車輛和物體的辨識和比對,基於在系統參數設置過程中插入的模板。當出現物體或車輛經過,或停在 HD 視覺設備的視角內時,這些設備將捕獲圖像,並將其自動與數據庫中的模板進行比較。因此,可以在辨識後將車輛和物體分配給一個類別。


3.3. 路邊停車的決策支持

3.3.1. 停車缺口評估

在以下各節中,將考慮並評估泊車間隔計算,泊車空間評估和決策支持,如圖5 所示。該框圖顯示整個計算涉及三個部分:(i)像素值之間的轉換和道路交通的實際規模;(ii)停車預約的模糊邏輯;(iii)停車活動的決策支持。


辨識並比對車輛和物體後,CVROSS 將為每個單獨的行車道,計算停車距離。首先,應該透過實驗研究,來實現從圖像中收集的像素值,和實際比例之間的轉換。道路交通的實際規模,受攝影機相對於地面的高度(Hc),和攝影機的視角(θc)的影響。


轉換比率對於估算實際的停車位數量非常重要,並在以下分析中使用。如圖6 所示,在第一行車道(如圖所示)中,有三輛車,每輛車都有四個拐角點,即{(x1,y1),(x2,y2),( (x3,y3),(x4,y4)}} {X1,Y1}用於第一車輛 V1。通常,車輛 Vn 的四個角點可以以{{x4n-3,y4n-3),(x4n-2,y4n-2),(x4n-1,y4n-1),(x4n, y4n)}{Xn,Yn},其中 n 是圖像中捕獲的車輛數量。


圖5 交叉中的計算概述。


圖6 停車間隙計算插圖。


在這項研究中,假定攝影機安裝在路燈和附近的設施上,因此攝影機的高度和視角,可能會有所不同。因此,需要調整由未安裝在路燈上的攝影機拍攝的圖像,以使圖像標準化以便轉換。參照政府的路燈設計和其他工作,可以建立轉換比率映射以處理攝影機的各種預定義的高度和角度,以標準化其視場(FOV) 。圖7 說明了將攝影機安裝,在具有不同視角的不同高度的場景。在默認設置中,安裝在路燈上的攝影機是垂直設置的,以覆蓋特定的 FOV。


對於具有不同高度和視角的其他攝影機設置,然後將圖像和 FOV 調整回默認設置。為了實現上述目標,透過針對幾種預定義配置的實驗研究,建立了轉換映射配置文件,因此為像素值和道路交通,實際比例之間的轉換,定義了比率La / Lp。因此,可以將轉換比率,應用於計算車輛的實際長度和寬度。


圖7 各種攝影機位置的插圖


檢索到每個車輛的四個角點後,CVROSS 計算 x 和 y 的最大值和最小值,即 L(x,n)和 L(y,n),以表示車輛的實際長度和寬度 Vn 分別根據等式(1)和(2)。 使用以上資訊,可以知道由攝影機捕獲的車輛的大小,然後使用模糊邏輯計算出,用於停車位的空間:



在模糊邏輯中,有三個過程:模糊化,推理引擎和去模糊化。這些評估保留因子 γ∈[0,1] 和來自三個輸入的估計停留時間 ts,即停車時間 tp,L(x,n)和 L(y,n)。在模糊化中,使用一組定義的模糊類(例如「小」,「中」 和「高」)以及所屬度 μ,對輸入和輸出參數進行模糊處理,所有這些模糊類的值,都介於 0 和 1 之間。


例如,將停車時間 tp 及其相應的隸屬度函數模糊化,以顯示歸屬度,如等式(3)所示,其中 xi 表示 tp 中的所有元素,μA(xi)是 xi 中的模糊類 A 的隸屬度函數, n 是元素 x 的總數。在推理引擎中,規則集 R = {R1,R2,R3,…,Rm} 用於評估輸入參數的匯總輸出,其中 m 是透過採訪領域專家收集的規則總數。推理引擎的機制稱為 Mamdani 方法,其中規則的結果,由模糊集而不是線性數學表達式表示。


公式(4)顯示了用於獲取匯總輸出的推理過程。「或」運算符用於組合所有隸屬函數值,從而在輸出隸屬函數中產生有界區域。在去模糊化中,然後使用質心方法,將模糊集中的輸出轉換回清晰值 x',該質心方法測量邊界區域的重心,如式(5)所示。在該應用中,當在圖像中辨識出車輛的區域時,可以測量車輛的停車時間,預留因子和估計的停留時間,以真實地反映出用於車輛停車的空間。如表1 所示,透過採訪領域專家和工業家,可以直觀地預定義模糊邏輯中,使用的隸屬函數。




為了計算車輛之間的停車距離,應考慮四種情況,如圖8 所示。為防止無限值誤差,長度的最大像素值(第 640 個像素而不是第一個像素)用於計算第一個間隙,即末端間隙(G0)。因此,根據等式(6),可以透過從長度的最大像素值(即 640 個像素)中,減去第一車輛 V1 的最大 x 值來計算端間隙(G0)。


對於圖8 中的情況 1 和 2,透過公式(6)進行末端間隙的計算,該末端間隙是兩輛車之間的部分停車間隙,因此應考慮使用來自右側攝影機的資訊,來測量兩輛車之間的整個停車間隙(對於情況 1 或 3)。對於圖8 中的情況 3 和情況 4,由於第一輛車 V1 的最大 x 值等於最大像素值,因此這意味著端間隙等於零,並且攝影機捕獲的第一輛車的長度,確實不代表車輛的實際長度。


應該收集來自右側攝影機的資訊,並將其與 V1 的部分長度合併,以確認 V1 的實際長度,而左側攝影機的情況,應類似於情況 2 或 4。在算法中,如公式(7)所示,可以將車輛 n 和 n + 1 概括為一個特定的行車線。可以獲取停放間隙(以像素值表示),並可以使用像素到實際比例的轉換比例,將其轉換回實際比例。


當考慮情況 1 和 3 時,無法觀察到 Xn + 1 用於計算 Gn,因此max(Xn + 1)定義為零,這定義了捕獲圖像的邊緣。在提議的系統中考慮了以上所有情況,然後對三種類型的車輛進行了泊車位分配:私家車、貨車和卡車,其監管泊車位分別為 5 m、7 m 和 11 m



圖8 捕獲圖像的四種可能情況


3.3.2. 停車位和決策支持功能

停車間隙的計算,對於計算可用停車位很有用。在收集到關於行車道停車位的數據之後,CVROSS 可以透過以下公式進行進一步處理:將每個車位的長度,除以不同類型車輛的長度 ω(作為第 3.3.1. 節中描述的參數之一輸入),透過公式(8)用於卡車、貨車和私家車。如果長度小於私家車的長度,則將物體分類為「其他」,例如道路上的障礙物。


因此,將生成有關每個單獨行車道,甚至整條道路上三種類型車輛的可用停車位(Struck、Svan 和 Sprivate 車)的資訊,以告知道路使用者即時的路邊佔用和空置情況。因此,所提出的系統,可以提供三個決策支持功能:平均空間利用率的評估,裝卸活動的測量,以及停車的平均等待時間。


考慮到整個行車道中有 p 個攝影機,透過將可用的總停車位,除以圖像的最大長度(以像素為單位),來計算平均空間利用率(U),如公式(9)所示,其中 Gij 代表由攝影機 j 確定的可用停車間隙  i,而Pixel(j,max)代表攝影機 j 的最大像素值。如果交通空間被卡車和貨車,而不是私家車佔用,則被視為從事裝卸活動。


透過將 L(x,n)≧5 的車輛長度的總和,除以攝影機監視下的行車道的實際總長度(Ltraffic),可以得出進行裝卸活動(LUA)的指示p,如公式(10)中所示。


假定在建議的系統中,每小時更新一次裝卸活動的指示,以方便地跟踪交通狀況。對於停車的平均等待時間,當可用停車位 Gn,小於私家車所需的停車位(代表三種車輛的最小停車位)時,建議的系統將​​確定整個行車道的等待時間。因此,使用者可以根據以上三個指標,做出適當的決定:



此外,CVROSS 帶有時間戳控件。經常更新即時資訊,可以使道路使用者獲得有關即時路邊佔用,和空置的有用資訊。因此,道路使用者可以充分利用該資訊,來做出即時決策,例如將他們的車輛停在道路上,或尋找其他道路。此外,透過延時運行程式,可以防止伺服器超負荷運行和過載,從而保持較高的穩定性和計算準確性。


3.4. 擬議系統的評估

對擬議的 CVROSS 系統的評估是雙重的:(i)驗證停車位估計;(ii)從駕駛員和物業管理公司的角度,來看系統性能。使用配對樣本 t 檢驗驗證停車間隔估計,以檢查兩組 50 個樣本數據點之間的差異(即估計停車間隔和實際停車間隔),目的是調查 CVROSS 中停車缺口估計的適當性。


另一方面,透過與駕駛員和物業管理公司代表,進行面談來評估滿意度和系統性能。圖9 顯示了用於獲得回饋的示例問題。該調查分為兩個時間段:(i)在實施 CVROSS 之前和(ii)在實施 CVROSS 之後三個月。結果,在實施 CVROSS 之前和之後,產生了一個比較摘要,以進行進一步的統計分析。



圖9 用於評估系統性能的調查問題樣本。


4. 案例研究

為了驗證所提出系統的可行性和性能,進行了案例研究,在香港觀塘區實施了 CVROSS。由於香港特別是觀塘區交通堵塞問題的嚴重性和緊迫性,迫切需要基於物聯網的系統,來監控路邊的裝卸。整個實施過程分為三個階段:(i)場景選擇,(ii)佈署 CVROSS 和(iii)建立基於 Web 的使用者介面。該項目首先從主要針對觀塘區的特定現場訪問中,收集數據開始。在對交通情況和職業有了更好的了解之後,根據觀塘區的交通特徵和實際案例,建立了一個仿真模式。


隨後,佈署了具有 CVROSS 系統架構的解決方案,以藉助 Web 應用解決該問題。因此,實施 CVROSS 涉及電腦視覺,雲計算、大數據分析,和可重複使用的能量(太陽能)的應用,以檢測、辨識和比對車輛和物體,從而為道路使用者提供圖像後,全面的即時資訊、加工。還使用前端 Web 介面,將資訊可視化,以增強可理解性。


4.1. 選址

在這個階段,數據收集主要集中在香港觀塘區的實地考察,以便從實際情況中,收集交通資訊以進行進一步分析。詳細的實地視察是在該地區最繁忙的道路,即觀塘區鴻圖道,及開源道分行旁的成業街及興業街進行的(如圖10 所示)。收集的數據,包括交通設施,和所選道路周圍的資訊,例如路燈柱、交通號誌燈和行車線的數量,以及道路的距離、長度和寬度。透過觀察收集有關地區交通狀況的數據,以更好地了解佔領和交通堵塞的實際狀況。


圖10 選定的行車路線進行現場訪問。


觀塘區是主要工業區,每天都有大量的裝卸活動。首先,在感興趣的區域中,通常臨時停放以進行裝卸,或等待路邊空間可用的車輛。由於大量貨車通常會在興業街併排停泊,因此可能會造成嚴重的交通堵塞。


其次,由於觀塘區車位稀少,附近一些公司可能會在路邊擺滿交通錐和木板等物體,以保存車位。這種情況會阻礙其他道路使用者使用道路。因此,除了對各種車輛和物體進行檢測、辨識和分類外,基於電腦視覺的路邊監視系統,還需要向道路使用者和物流公司提供,有關佔用和空缺的資訊,透過自我調節,以便他們可以基於分析資訊,來優化車隊時間表。


建築物和燈柱的外牆,是在基於電腦視覺的監視系統中,安裝高清視覺設備,以捕獲圖像的唯一可能位置。未經許可,在建築物的外牆上,特別是在商業建築物上,安裝高清視覺設備會有一定的困難。人們認為,由於缺乏對建築物外觀的好處和影響,大多數業主可能會拒絕安裝高清視覺設備。


此外,各種建築物在不同的高度,可能具有不同的功能,這可能會導致難以統一標準,例如所有高清視覺設備的高度,從而對視覺產生負面影響,並可能造成一些重疊。因此,建議由香港政府路政署管理的燈柱,是在道路和街道上安裝高清視覺設備的最佳場所。在所考慮的區域,路燈柱的安裝高度為 10 m,由路政署設定。


路政署負責燈柱的預防和糾正維修。這對於視覺設備,和基於電腦視覺的監視系統的安裝和操作是有益的,因為與建築物外牆的安裝相比,可以迅速解決故障和錯誤,以保持系統的高度穩定性。


4.2. 佈署 CVROSS

在 CVROSS 的設計中,擬議系統的佈署包括四個主要部分:(i)降噪,(ii)車輛辨識,(iii)停車位計算和(iv)可用停車位的計算。所提議的系統分別使用 Simulink 和 LabVIEW 進行了算法建模,和實際原型開發,如圖11 所示。開發了用於停車位計算和停車位分配的模式和算法,以及用於車輛停車位預定的模糊邏輯。在 Simulink 環境中,在 LabVIEW 環境中控制和建構了使用者介面,以及系統原型和數據採集元素。


圖11 CVROSS 的系統佈署環境。


4.2.1. 降噪

首先,根據第 3.2 節,需要設置用於實際實現的參數,尤其是車輛和交通錐的大小,及其以像素為單位的尺寸。然後,透過視覺獲取和降噪開始收集數據。如圖12 所示,來自視覺獲取的原始圖像包括交通車道線,與車輛和物體的辨識和比對無關。這些行可能會對辨識和比對的結果產生負面影響。發現,在降低噪聲之後,僅保留了相關車輛的形狀。


這可以促進圖像的後續處理。結果,可以實現更好和更準確的處理,以增強設計系統的有效性。但是,具有自己的特徵和特性的不同道路,可能需要不同的降噪技術,以從圖像中刪除無關的信號。當系統應用於香港的不同道路時,這可能是一個耗時的修改。 


圖12 降噪前後的圖像差異。


4.2.2. 車輛辨識

為了確定特定車輛的尺寸,使用了幾何比對技術,來辨識和比對外觀不同的兩輛卡車。 結果發現,CVROSS 能夠檢測、辨識和比對,道路上所有行車道,和單個行車道上的車輛。可以使用來自道路上,所有行車道的比對結果中的資訊,來解釋一般的交通狀況,例如,用於保留雙泊車的問題。


另一方面,來自單個行車道的資訊,能夠說明特定行車道中的情況,以確定交通堵塞程度,並確定裝卸活動。圖13 說明了幾何比對在車輛辨識中的使用。 頂點的坐標用於透過幾何技術,測量車輛的相應長度和寬度。


圖13 透過 CROSS 進行幾何比對的圖示。


4.2.3. 停車間隙的計算

使用1u32jo4結果,實現了停車位的計算。 一台高清攝影機可以確定路邊的情況(最多六個間隙,包括末端間隙)。 為了實施,將缺口總數設置為大數 M。 透過應用 CVROSS,可以很好地確定和計算 Lp、Hc 和 θc 的停車位(考慮各種類型的車輛)。圖14 顯示了 CVROSS 伺服器端,在 MATLAB 運行時編譯器中,運行的模糊邏輯工具箱。


創建了輸入和輸出,及其相應的隸屬函數(如表1所示),並定義了模糊化過程,Mamdani 的推論和去模糊化過程。 因此,可以在停車間隙的計算中,包括停車預約的模糊能力。


圖14 MAT LAB 運行時編譯器中的模糊邏輯。


圖15 示出了在車輛數量不同的,三個車道上的停車間隙長度。 當第 1 車道上沒有車輛時,末端間隙顯示為 640 像素,這表示所有像素均可用,而其他間隙的值為零。 從計算中發現,該算法能夠基於先前的比對結果,以編程方式計算停車間隙。 


例如,如果行車道中沒有車輛,則僅顯示末端間隙。 結果,可以產生關於所有停車間隙的長度的資訊,並將其用於進一步處理。 但是,運行程序之前需要設置間隔數。 因此,需要對特定道路和行車道的通行能力,進行進一步的計算。 然後,設置可能需要計算的停車間隙數量。


圖15 三個獨立行車道上的停車位。


4.2.4. 可用停車位的計算

在獲得有關停車位差距的數據之後,透過應用 CVROSS,來測試可用停車位的計算。基於提出的算法,將每個停車間隙的長度(以像素為單位),除以每種類型的車輛的長度,和為停車該特定車輛保留的常數。透過該算法計算,可在單個行車道上停車的車輛數量。如果私家車的數量(在這種情況下是最短的車輛)等於零,則意味著浪費了特定的停車位。


此外,CVROSS 能夠將所有車輛,和可用停車位的長度加起來,分別顯示為佔用和空置,並顯示各個行車道上的浪費空間,從而為使用者提供有關一般交通的資訊情況。因此,透過將停車間隙的長度,除以每種車輛的長度,CVROSS(使用用於計算可用停車位的功能)提高了其計算能力,並為使用者提供了有關可用停車位數量的資訊的能力。


在每個區域停車。因此,它對使用者做出立即決策和自我調節很有用。例如,如果不再有可用的停車位,駕駛員可以決定將其車輛停放在其他道路上,以防止交通擁堵的發生。


此外,CVROSS 還適用於對象辨識和比對。圖16 顯示了特定車道上,可用停車位的匯總。匯總了從多個攝影機收集的停車位數據,以形成停車位匯總結果集,並用於將各種類型的車輛分配給空車位。因此,CVROSS 仍然能夠計算出車位差距和可用車位,以顯示在行車道上有物體佔用的情況下,佔用和空位以及浪費的車位。


圖16 計算被物體佔用時的可用停車位。


4.3. 建立 Web 的使用者介面

為使用者提供易於理解,和使用的高品質資訊可視化介面非常重要。 CVROSS 能夠為使用者,提供各種形式的資訊可視化。可以圖形化顯示檢測和比對的車輛的結果,以及計算出的停車間距和可用停車位。用於資訊可視化的介面設計如圖17 所示。圖像顯示用於在系統時間內,顯示道路上的即時交通情況。 


這可以為使用者提供受監視區域的總體視圖。 此外,如圖18 所示,在 CVROSS 的主儀表板上,可以為道路使用者、物流公司和公眾,生成有關不同類型車輛,使用道路情況的各種報告,以更好地了解以下地區的交通狀況,在特定時期進行監視。


圖17 資訊可視化介面設計概述。 


圖18 CROSS 的主儀表板。


5. 結果與討論

根據案例研究,發現在現實生活中實施建議的系統是可行的,為路邊停車活動提供即時監控和決策支持功能。一方面,房地產公司可以評估雙重併排停車的嚴重程度,並從後台查看即時路邊情況。在案例研究中,檢查了 100 個停車位樣本,以評估停車位估計的準確性,並與實際測得的停車位進行比較。估計停車位與實際停車位之間的精度比較如圖 19 所示。


採用成對樣本 t-test,來檢驗估計停車位,與實際停車位之間的差異,零假設是假設平均差為零。發現平均差異的統計顯著性達到 p 值為 0.02; p 值為 0.02。因此,可以認為使用 CVROSS 測量停車間隙是可行的。停車間隙估計的平均誤差,和最大誤差分別為 1.47 m 和 3.60 m。


此外,還使用 50 個樣本比較了估計的停留時間,和實際的停留時間,從而評估了停留時間的估算準確性,如圖 20 所示。成對樣本 t-test 也用於檢驗估計的時間,與實際時間之間的差異。停留時間,零假設是假設均值差為零。


發現平均差異的統計顯著性,達到了 p 值為 0.015;因此,停留時間的估計,可以認為是可行的。停留時間估計的平均誤差和最大誤差,分別為 1.70 h 和 4.64 h。另一方面,卡車司機和駕駛員可以利用提議的系統,來了解特定的路邊情況。在下一部分中,在採用建議的系統之前和之後,將透過進行比較分析,來評估 CVROSS 的性能,相應地討論了任何優點和貢獻。


圖19 停車間隙測量的精度比較。


圖20 估計停留時間的準確性比較。


5.1. CVROSS 的比較分析

為了驗證所提出系統的性能,在使用 CVROSS 之前和之後,進行了比較,考慮了三個方面:(i)交通擁堵的嚴重程度,(ii)車輛的節能和(iii)駕駛員滿意度。透過採訪選定地區的 50 名駕駛員,和物業管理公司的 10 名代表獲得了結果。選擇它們是因為,它們是成業街和興業街的經常使用者,並且承擔著相當大的管理責任。


表2 顯示了與物業管理公司代表,和個別司機的訪談結果。總之,透過實施建議的系統所獲得的效果,似乎是積極的。根據物業管理公司的數據,特定道路上的交通堵塞嚴重程度,和重複停車的發生率分別降低了 41.2% 和 33%。


此外,公司可以節省控制繁忙路邊情況的勞動力成本,將工人人數從每班 10 人減少到每班 6 人。可以在後台辦公室監視和控制路邊情況,並可以透過提議的系統,向卡車司機和駕駛員提供即時交通資訊。


駕駛員和卡車司機通常都同意減少平均油耗,並且找到合適的停車位,平均時間可以減少 51.6%,因為他們從提議的系統接收到資訊後,便能夠前往特定的停車位。此外,卡車司機和駕駛員普遍對擬議的系統感到滿意,因為它可以改善繁忙地區雙重停車,和交通堵塞的惡劣狀況



5.2. CVROSS 的時間戳控制

While 循環(允許重複執行代碼的控制流語句)也可以在伺服器中使用。這樣可以使程序每秒或更長時間運行一次,還可以使數據、資訊,和報告每秒或更頻繁地保存一次。儘管這可以為使用者提供定期更新的資訊,但是由於必須處理和保存大量數據、資訊和報告,因此伺服器很容易過載。


因此,系統的穩定性受到負面影響。例如,假設一個月有 30 天,則一個月中有 2,592,000 s(對於使用 While 循環以編程方式生成的 Excel 文件)。這意味著每月有 2,592,000 條記錄,每年大約產生 31,536,000 條記錄。隨著生成更多數據,多年後的大數據分析可能會遇到問題。


結果,建議使用定時循環,而不是 While 循環。在這種情況下,定時循環設置為有五分鐘的延遲。因此,它仍然可以為道路使用者,頻繁地更新即時交通資訊,方便 CVROSS 的操作,並平穩地加載伺服器,以防止超載並保持穩定性,從而方便大數據分析過程。實際上,可以根據道路使用者的實際需求,來調整五分鐘的延遲時間,從而為他們提供更加使用者友好的系統。


5.3.  CVROSS 的意義

案例研究和實施,已經證明了 CVROSS 的可行性和性能。擬議的系統為研究和社會做出了三大貢獻:(i)用於路邊營運的智慧停車;(ii)將人工智慧應用於路邊停車活動;以及(iii)為物業管理公司提供環保的商業模式。


5.3.1. 用於路邊營運的智慧停車

在城市發展領域,智慧城市被認為是未來趨勢,新興技術被用於製定不同形式的決策支持和情報,以提高效率和效力。在智慧城市的發展過程中,智慧行動專門針對物體(包括人類),運輸和物流。智慧停車的本體是從智慧交通發展而來的,它是一個活躍的研究領域。


在本文中,應用了用於路邊操作的智慧停車,以消除雙重停車,並增加路邊佔用率。透過採用物聯網技術,智慧停車的新主題已被探索,以解決路邊雙重併排停車的問題。因此,本文對智慧停車做出了新的貢獻。


5.3.2. 應用人工智慧在路邊停車活動

在評估停車位和可用停車位時,所提出的系統利用模糊邏輯,對現實情況下,各種類型的車輛進行分類,即私家車、貨車、卡車和障礙物。模糊邏輯在算法中,提供了靈活性和智慧性,以生成某些決策支持功能。


因此,所提出的系統能夠評估預留空間,和車輛的估計停留時間。該資訊可用於估計平均空間利用率、裝卸活動,以及停車的平均等待時間。總體而言,物聯網技術收集的數據,和路邊活動的數據使用人工智慧技術(即模糊邏輯)進行整合,以在工業應用中創造價值。


5.3.3. 使用物聯網的綠色商業模式

考慮到實施建議的系統的發現,可以得出結論,建議的系統在節能,時間效率,和更好的路邊佔用方面具有優勢。例如,如果星期一早晨總是有很多卡車裝卸貨物,那麼一些物流公司可以計劃更改時間表,以便在其他時間裝卸貨物,以防止在交通堵塞時的等待。因此,該系統能夠透過自我調節,來促進交通和車隊管理。介面和相關資訊可以進一步修改,並傳輸到行動應用 app,以提高路邊活動的透明度。


透過道路使用者和物流公司的自我監管(利用資通信技術),該系統可解決交通堵塞,實現高效的道路網路,並促進可靠和智慧運輸系統的開發和管理。這項工作不但對物業管理公司和司機有利,而且對香港社會有正面影響,在路邊經營中營造環境友好和安全的氛圍。透過採用 CVROSS,公司可以節省管理路邊活動的成本和勞動力,從而可以提高業務利潤率。


6. 結論

如果不加以控制,路邊的活動(例如裝卸)會對交通狀況產生負面影響。因此,與智慧城市的發展保持一致,智慧出行對於香港的建成區非常重要。尤其是在這種情況下,公眾和道路使用者無法獲得有關路邊活動,佔用和空置的即時資訊。 


CVROSS 是一個完全整合的解決方案,配備了一組無線高清視覺設備,可以利用機器學習技術,在太陽能的支援下,從路邊捕獲圖像,並建議將其作為即時物聯網的系統,來監控路邊的裝卸停靠。透過實現智慧行動性,這可以促進交通和車隊管理,從而實現高效的道路網路。


本文透過在 Simulink 和 LabVIEW 環境中開發 CVROSS,為物聯網技術的利用做出了貢獻。從參數的設置,到車輛和物體的辨識,以及與降噪的匹配、泊車間距,和可用停車位的計算,最後到資訊可視化,CVROSS 以及最新的物聯網技術,能夠為道路使用者提供路邊的即時交通資訊,例如路邊的佔用和空缺,從而提高路邊活動的透明度。


還可以透過大數據分析,為不同的各方生成各種報告,例如每日報告。例如,物流公司可以根據分析資訊優化車隊時間表。此外,將模糊邏輯應用於路邊停車位,和可用停車位的評估,以在路邊營運中建立決策支持,以提高評估的準確性和系統的靈活性。預計這將透過減少等待裝卸活動的時間,來幫助解決交通堵塞,並透過查找停車位,並防止在道路周圍盤旋,來減少燃料和能源消耗的成本。


擬議的 CVROSS 解決方案,促進了香港可靠和智慧交通系統的開發和管理,從而在智慧行動和智慧交通的基礎上,實現了智慧停車。未來可以進行調查、修改和實現 CVROSS 的實施,以提高路邊活動的透明度。


最終,透過將基於物聯網的監控系統,應用於路邊的裝卸停靠,可以促進香港可靠和智慧運輸系統的開發和管理。在將來的工作中,建議的系統可以在受到雙重停車,和繁忙路邊活動影響的其他地區實施。另外,可以提出用於制訂隸屬函數和模糊規則的自動化和智慧方法。


AKD 寰楚專業級全系列監控設備


0 comments: