ALPR 或自動車牌辨識，是一種使用攝影機和專業軟體，來自動捕獲車輛車牌圖像，並將字母數字、字符轉換為數位數據的技術。然後可以立即將這些數據與各種數據庫進行比較，以實現多種目的。在這篇報導中，我們介紹了 Hailo’sautomanics 板辨識（ALPR）實現（也稱為車牌 /數位板辨識或 LPR / NPR）。

ALPR 是幾乎所有室外佈署中，發現的無處不在的管道。它通常在兩種情況下使用：直接整合在攝影機本身中，或在連接到一個或多個攝影機的堅固處理設備上運行。該 ALPR 解決方案非常適合智慧運輸系統（ITS）以及執法系統，並展示了基於 AI 的產品中的 Howhailoempowers 現實生活中的機器學習佈署。這篇報導重點介紹了第二種情況，展示了基於 Hailo-8 的完整，可佈署的 AI 管道。LPR 直接在攝影機上運行的第一種情況，可以使用 Hailo-15 高性能視覺來實現。

此處描述的硬體配置，包括完整的高清攝影機，一個攝影機處理器模組，Hailo-8 AI M.2 模組和 GSTREAMER 應用，將電腦視覺（CV）管道與多個神經網路整合在一起。

了解自動車牌辨識

自動車牌辨識（ALPR）系統是智慧城市最受歡迎的影像分析應用之一。ALPR 佈署在高速公路，收費站和停車場上，可以快速車輛辨識，塞車控制，車輛計數，執法控制，自動票價收集等。

ALPR system output. The system is able to detect and track the vehicles as well as detect their license plates and recognize them — 圖1 - ALPR系統輸出。該系統能夠檢測和追踪車輛，並檢測其車牌並辨識它們

借助 Hailo-8和Hailo-15 等強大的邊緣 AI 處理器，可以將 ALPR 佈署在邊緣設備上，並即時運行，這對於：非常重要：

透過更好地表現的神經網路降低失誤率，這些神經網路對各種場景更具彈性。

減少檢測潛伏期。

與現有系統相比，降低了總擁有成本（TCO），包括安裝和維護成本。

透過消除將原始影像，發送到外部 /雲端伺服器的需要，來增強數據保護和隱私。

Hailo-8 和 Hailo-15 的高運算功率，還可以在長距離且準確的高度檢測多輛車。處理小物體時，傳統對象檢測網路的準確性，往往會顯著降低（最高 5 倍）。例如，100 米外的車輛，在完整的高清框架中，僅佔用幾百像素，需要高容量的神經網路，以確保可靠的檢測。對於 ALPR 系統來說，這是一個普遍的挑戰，Hailo 處理器提供了高度運算能力，來有效地解決它的能力。

在此報導中描述的示範案例應用中，將每秒 26 個 TERA 操作的 Hailo-8 M.2 模組，與 I.MX8 整合了 26 個 TERA操作（TOPS），I.MX8 是一種常見的入門級嵌入式 AI 處理器，以證明能夠卸載和解除運算密集型 ALPR 任務的能力。此配置實時運行而無需批處理。儘管此設置使用 I.MX 8，但 Hailo-8 處理器可以與其他 X86 或基於 ARM 的其他宿主處理器整合。此外，Hailo-15 VPU 提供了一個獨立的解決方案，消除了對外部主機處理器的需求。

HAIO AI TAPPAS ALPR 系統，是在 Hailo-8 M.2 卡上，使用的 GSTREAMER 實施的，Kontron 的 Pitx-i.mx 8M，NXP 的 I.MX 8 處理器，即時運行（無需批處理），並在 FHD 輸入分辨率中，使用 USB 攝影機運行。

ALPR 應用管道

Hailo ALPR 應用管道在下圖中描述。該管道包括用於（1）車輛檢測的 Hailo-8AI 加速器設備上的三個神經網路，（2）車牌檢測（位於檢測到的車輛中的車牌），以及（3）LPRNET 在車牌上的角色辨識。使用 GSTREAMER 框架將整個管道都是二合一的。

為了優化應用延遲，使用 Hailo Gstreamer Tracker 來避免對已經辨識的車輛進行不必要的運算，並避免在模糊的車牌上運行 LPRNET。該管道目的在滿足即時運行 1080p 輸入解析度的具有挑戰性的要求，每個幀中有多個車輛。

所有神經網路均使用 Thehailo DataFlow 編碼器編譯。預訓練的加權和預編碼模型，可在 Hailo 模型動物園中提供，以便於整合。此外，Thehailo 模型在自定義數據集上的 ZOOSUPPORTS RETRAING 模型，可在特定環境中進行最佳性能。請注意，所有提供的神經網路，均在相對通用的應用案例上進行了訓練，並且可以透過專用數據集，進一步優化（根據大小/精度/FPS）。

CV pipeline of the ALPR application with Hailo-8™.
In blue – are blocks that run on the Hailo-8™device,
in orange – are blocks that run on the embedded host — 圖2 - 使用 Hailo-8 的 ALPR 應用的 CV 管道。
藍色塊表示在 Hailo-8 設備上運行的元素。
橙色塊表示在嵌入式主機處理器上運行的元素。

車輛檢測

為了進行車輛檢測，在此樣品管道中，我們使用了 Yolov5m 的神經網路，其單個類匯總了所有類型的車輛。Yolov5is 是一個強大的單階段對象檢測器，於 2020 年發布，並接受了 Pytorch 訓練。從攝影機收到的圖像，以 1080×1920 的解析度為 1080×1920，並在由 Yolov5m 處理之前調整為 640×640。調整大小不會影響車輛檢測精度。為了訓練車輛檢測神經網路，我們組合了幾個數據集，並將它們對齊為相同的註釋格式。重要的是要注意，不同的數據集可能會以不同的方式對車輛進行分類，並且該神經網路經過訓練，可以檢測到同一類的各種車輛。使用高容量的神經網路（例如 Yolov5M），可以在距離遠處具有很高精度的車輛檢測，從而使應用甚至可以在高速公路上檢測和追蹤車輛。

儘管報導詳細介紹了 Yolov5M 的 ALPR 管道的實現，但建議考慮高級 Yolo 模型，例如 Hailo Model Zoo 中的 Yolov8s 和 Yolov10s，並使用 Hailo Model Explorer 評估其準確性和特徵，以找到最佳的配合。

Parameters	Compute (GMAC)	Input Resolution	Training Data	Validation Data	Accuracy
Accuracy	25.63	640x640x3	370k images (internal dataset)	5k images (internal dataset)	46.059AP

*在 COCO2017 上訓練的 Yolov5M 網路，在同一驗證數據集上實現 33.9AP。

Vehicle detection example comparing SSD-MobileNet-v1 (on the left) and our YOLOv5m (on the right) — 圖3 - 車輛檢測示例：SSD-Mobilenet-V1（左）與 Yolov5m（右）

車牌檢測

在此樣本中，我們的車牌檢測神經網路，基於帶有單個類的 Tiny-Yolov4。Tiny-Yolov4 是一種經濟的單階段對象檢測器，於 2020 年發布，並接受了 TheDarknet 框架訓練。儘管它在可可數據集上的準確性是適度的（19map），但我們發現它足以檢測單車圖像中的車牌。為了訓練它，我們使用了各種車牌數據集和負樣本（沒有車牌的車輛圖像）。

Parameters	Compute (GMAC)	Input Resolution	Training Data	Validation Data	Accuracy
5.87M	6.8	416x416x	100k images (internal dataset)	5k images (internal dataset)	74.083AP

License plate detector examples for images-from-the-wild — 圖4 - 野外圖像的車牌探測器示例

LPRNet

LPRNETIS 是由連接式臨時分類（CTC，connectionist temporal classification）損失驅動的捲積神經網路，該網路被 Pytorch 訓練。該神經網路是使用以色列車牌的主要自動基因合成數據集，進行了訓練的，使其適合僅辨識數字的車牌。要採用 LPRNET 到其他區域，我們建議使用代表該區域車牌的合成，和真實數據集的組合，並在需要時更改類數（例如，添加其他字母）。在 Hailo Model Zoo 中，我們提供的訓練指令和 Jupyter Notebookthat 顯示了，如何生成用於訓練 LPRNET 的合成數據集。

Parameters	Compute (GMAC)	Input Resolution	Training Data	Validation Data	Accuracy
7.14M	36.54	75x300x3	4M images (internal dataset)	5k images (internal dataset)	99.86%*

*完全辨識的車牌百分比（從整個驗證數據集中）

Figure 6 – Synthetic dataset examples for the LPRNet training. We used a combination of real and synthetic license plates with different augmentations for training — 圖5 - LPRNET 訓練的合成數據集示範案例。我們使用了真實和合成車牌和不同擴展的組合進行訓練

使用 Hailo Tappas 佈署 ALPR

我們已經發布了 ALPR 應用樣本，作為 The hailo Tappas 的一部分。ALPR 示範案例應用在 C ++ 中，使用 GSTREAMER 建構管道，並允許開發人員從影像文件或 USB 攝影機運行該應用。允許你控制應用的其他參數，包括檢測器的設置參數（例如，檢測閾值），追蹤器（例如，保持/丟失的幀速率）和品質估計（最小車牌尺寸和品質閾值）。

Hailo 模型動物園，還允許你使用自己的數據重新培養神經網路，並將其移植到 ALPR TAPPAS 應用，以進行快速域的適應和自定義。Hailo ALPR 應用的目的，是透過在 Hailo-8 上實現完整的 ML 應用管道，和用於邊緣佈署的嵌入式主機處理器，來提供可靠的基線來建構 APLR 產品。

什麼是 GSTREAMER？

GSTREAMER 是一個開源媒體框架，目的在開發功能強大且複雜的媒體應用管道。透過將不同的 GSTREAMER 插件連接在一起，可以建構 GSTREAMER 管道。每個插件都負責某些功能，並且所有插件的組合，都會創建完整的管道。例如，一個簡單的 GSTREAMER 管道顯示影像文件，將包含一個插件來處理文件讀取的插件，第二個插件以解碼文件的格式，以及第三個插件以顯示解碼的幀。每個插件均聲明其輸入（接收器）和輸出（來源），並且該框架利用其類似 Lego 的建構塊生成了完整的管道。

A simple GStreamer pipeline — 圖6 - 簡單的GSTREAMER管道

Hailo 的 Gstreamer 支持

作為 The hailort（Hailo的運行時庫）的一部分，我們發布了一個 GSTREAMER 插件，用於在 Hailo-8 AI 處理器（LIBGSTHAILO）上推斷 AI。該插件負責設備上的整個配置和推理過程，這使得 Hailo-8 與 Gstreamer Pipelines 的整合，變得容易且直接。它還可以在單個 Hailo-8 上，推斷多網路管道，以促進完整的 ML 系統。

除了標準的 Hailort 插件外，在 ALPR 應用中，我們還使用了使用 Tappas 軟體包，發布的其他 GSTREAMER 插件 - Hailo GStreamer Tools（LibgSthailotools）。

追蹤：此 GSTREAMER 插件，實現了 Kalman 濾波器追蹤器，並負責追蹤圖像中的一般對象。它收到了檢測網路的每個操作的更新，並且可以將過去框架與對象相關聯，以分配跨幀的唯一 ID。追蹤器還能夠生成，對看不見幀中對象位置的預測。

品質估計：此插件可以透過邊緣運算的方差，來估計圖像的品質。它收到輸入圖像並計算其模糊（得分）。

作物和調整大小：此插件可以透過特定位置生成圖像的不同農作物。它收到圖像和一系列 ROI（感興趣的區域），並生成幾張固定尺寸的圖像。

HAILO 過濾器：一個透過插件，允許你將 C ++ 代碼嵌入管道中。例如，後處理功能。

HAILO 覆蓋：為了繪製應用的最終輸出，我們使用一個專門的插件，來匯總所有預測，繪製邊界框和元數據，並生成最終的輸出框架。

表現

下表總結了在 FHD 輸入解析度（1920×1080）中，使用 USB 攝影機，在 Hailo-8 和 I.MX 8 上的 ALPR 應用的性能，以及神經網路獨立性能的分解。

	FPS	Latency	Accuracy
Full Application (x86)	60		99.86
Full Application (i.MX)	60		99.86%
Standalone Vehicle Detection	80	1.39 ms	46.059AP
Standalone License Plate Detection	1299.8	44.37 ms	74.083AP
Standalone LPRNet	303	5.81 ms	99.86%