cookieOptions = {...}; ★ 用於監控應用的即時影像串流 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2024年4月1日 星期一

如何將您的網路攝影機串流到 YouTube 


 Klacci 凱樂奇 Kii Assistant 智慧酒店服務系統

electronic specifier


即時監控和遠端監控在石油和天然氣、電網、工業自動化和智慧建築等廣泛行業中越來越重要。監視應用對高品質時影像串流的需求,比以往任何時候都高,這需要運算密集型影像處理設計,和先進的編碼和解碼技術。

作者:Pramod Ramachandra,技術架構師-軟體設計,Mistral Solutions Pvt Ltd

先進的攝影機架構,包括帶有視覺分析和影像處理演算法的板載微處理器,或 FPGA,用於攝影機內的畫素預處理和決策。在人工智慧演算法的補充下,這些高階攝影機還可以促進與中央指揮中心的即時通訊,並僅串流式傳輸具有重要意義的鏡頭,以幫助使用者級別的決策。

從早期監視僅限於透過同軸電纜,連線到 PC 顯示器的幾個類比攝影機開始,該模式已經發展,並達到了更大的範圍和重要性。數位技術的出現,有助於克服類比系統的幾個缺點,如複雜的佈線、低影像品質、埠數限制、低隱私和安全性等。

感測器技術和嵌入式電子產品的快速發展,特別是運算密集型 SoC、高速 DSP、高速無線/有線介面、影像串流協議和雲端技術的到來,使攝影機超越了傳統的監控,並促進了基於人工智慧的高階視覺應用,如安全區監控、禁區、物體檢測等。

高速即時影像串攝影機的設計和實施,需要各種嵌入式技術的專業知識。本報導試圖深入研究,用於監控應用的高階攝影機的設計。我們探索了攝影機架構和影像串流的基礎知識,以及幾個串流媒體協議、感測器和處理引擎的選擇、系統軟體要求和雲端整合等。



設計考慮

關鍵系統元件

影像感測器

影像感測器是攝影機系統的眼睛,它包含數百萬個稱為畫素的離散光探測器場景。所有成像感測器 —— 用於靜止、電影、工業或安全攝影機 —— 都使用電荷耦合裝置(CCD),或互補金屬氧化物半導體(CMOS)感測器技術。感測器的基本作用,是將落在鏡頭上的光轉換為電訊號,而電訊號又將被攝影機處理器轉換為數位訊號。



監控攝影機需要更高的光敏度,從而產生更好的低光影像。由於更高的動態範圍、視野和更高的快門速度,先進的影像感測器提供低噪聲的高品質影像

由於尺寸、重量、功率和成本等各種因素,影像感測器對攝影機的效能產生巨大影響。選擇正確的感測器,是設計用於監控應用的高品質攝影機的關鍵。 感測器的選擇受到幾個因素的影響,如幀速率、解析度、畫素大小、功耗、量子效率和 FoV 等。



感測器介面

感測器介面的選擇,是影響攝影機效能的另一個關鍵因素。MIPI CSI(1/2/3)是目前最常用的感測器介面之一。由於 MIPI CSI 提供精益整合,NXP、NVIDIA、高通和英特爾等幾家領先的晶片製造商,正在將這項技術用於工業設計。帶有 MIPI CSI 介面的 CMOS 感測器,可實現從感測器到系統主機 SoC 的快速資料傳輸,從而促進高速和系統效能。開發人員還可以在訊號處理在不同平台或系統的應用中,使用 GMSL 和 FPD Link 等高速介面。這些介面極大地影響了攝影機的整體效能,這是即時影像串流應用的關鍵。

攝影機介面

辨識具有高速影像串流功能的正確攝影機介面,同樣非常重要。開發人員可以依靠 USB 3.2、CoaXPress 2.0、Thunderbolt3、DCAM、CameraLink HS(Framegrabber)和千兆位乙太網等高速介面。

訊號處理引擎

市場上有各種基於領先 GPU、SOC 和 FPGA 的 SOM 和 SBC,是高階攝影機設計的理想選擇。從這個大池中辨識正確的處理器,可能是一項艱鉅的任務。處理引擎必須支援攝影機系統不斷變化的影像編碼、解碼和應用處理要求。

此外,處理器應幫助關鍵攝影機參數設定,如自動對焦、自動曝光和白平衡,以及降噪、畫素校正和顏色插值等。

硬體加速影像編碼(GPU)和流媒體的出現,透過提供突破性的效能,極大地實現了成像應用,特別是監控和機器視覺。GPU 比 CPU 提供更多的運算能力,這對高效能、即時系統來說是不可或缺的。

NVIDIA Jetson、高通驍龍、Xilinx、英特爾、Microchip、Lattice Semiconductor 等的 FPGA 是一些領先的平台,極大地幫助高階攝影機進行視覺分析和工業應用。支援硬體加速媒體編碼和解碼的處理平台,將是攝影機開發人員的理想選擇。

用於高階監控應用的攝像機,必須具有高解析度和高幀速率,具有行業領先的影像壓縮和流化功能,以及低功耗。內建影像分析的高階低功耗嵌入式處理器,為攝影機提供特定於應用的智慧。

這些 SoC 使系統能夠只記錄、串流式傳輸和儲存必要的影像序列。這種處理引擎,在開發人員中越來越受歡迎,因為它們有助於使用者快速實現即時通訊。

使用 FPGA,高階 DSP 和 GPU 實現邊緣運算,並提供未來功能,如智慧運動檢測、物體檢測和計數,以及攝影機篡改檢測等,輔之以高階影像分析和人工智慧演算法。

具有邊緣運算的攝影機,是時間敏感應用的理想選擇,有助於在邊緣做出智慧決策。此類系統強烈推薦用於遠端應用,因為與雲或中央指揮中心的連線有限。

一些領先的 SOC 製造商和處理器,是設計即時影像串流媒體攝影機的理想選擇:

Intel

英特爾 Movidius:使產品開發人員能夠在智慧攝影機和擴增實境裝置中,佈署深度神經網路和電腦視覺應用。

NVIDIA

NVIDIA Jetson SoMs:提供效能和能效,以建構支援智慧機器視覺的系統。

NXP

i.MX 8 系列應用處理器:適用於高階圖形、成像、語音、影像、機器視覺和安全關鍵型應用的可擴充多核平台。

Qualcomm

高通 APQ/QCS 應用處理器:高度整合的平台,用於需要強大的多核處理、下一代電腦視覺的緊湊設計,非常適合建構高階攝影機、機器人等。

XILINX

Zynq UltraSCALE+:為圖形、影像、波形和資料包處理,提供軟引擎和硬引擎的即時控制。

ARM

Arm 提供了一系列 RISC 處理器核心,這些核心在幾個 SoC 和 SBC 上實現。

  • Cortex A:用於智慧攝影機設計的 32 位和 64 位 RISC ARM 處理器核心。
  • Cortex M:32 位 RISC ARM 處理器核心,針對低成本和節能的微控制器進行了最佳化。
  • Cortex R:32 位 RISC ARM 處理器核心,針對硬即時和安全關鍵型應用進行了最佳化。
  • Cortex X:Arm RISC 核心,用於高效能人工智慧驅動和連線攝影機。
  • Ethos N:目的在滿足複雜的機器學習要求。
  • Ethos U:專為嵌入式人工智慧應用而設計。
  • 馬裡攝影機:用於人工智慧驅動的連線攝影機的高效能影像訊號處理器(ISP)核心。

系統軟體

作業系統

儘管出現了幾個作業系統,但 Linux 統治著嵌入式世界。多年來,由於其穩定性和網路能力,特別是在網路和通訊領域,它一直是嵌入式裝置開發人員首選的嵌入式作業系統。開發人員可以使用 Linux 進行高畫質串流攝影機設計,因為他們可以利用眾多 Linux 供應商,提供基於不同核心版本的客製化解決方案。

由於 Linux 是一個開源作業系統,開發人員可以輕鬆快速地進行更改,並重新分發它。人們可以使用 Linux 滿足專案的獨特要求,同時輕鬆解決關鍵因素,包括功耗、資料串流,以及硬體配置或其他軟體元素,帶來的任何其他挑戰。

使用 Linux 的一些優點:

  • 多執行緒、多功能作業系統是複雜應用的理想選擇
  • 使用 Linux 使開發人員能夠輕鬆釋出軟體升級,並管理與第三方系統的相容性
  • 由於 Linux 是一個開源作業系統,因此實現/移植軟體的成本相對較低。大部分費用將出現在開發費用上
  • Linux 允許根據特定要求輕鬆客製化和整合 I/O
  • 使用 Linux 可以更快地進入市場 —— 只需最少的客製化,開發人員就可以輕鬆地整合現成的開源軟體元件。


感測器驅動程式

感測器驅動器的開發和整合,是攝影機設計的另一個關鍵部分。大多數感測器模組都帶有驅動程式,但開發人員也可以根據最終產品的具體需求,編寫攝影機感測器驅動程式。

感測器驅動器應解決幾個關鍵元件,如時鐘頻率、幀大小、幀間隔、訊號傳輸、串流控制、感測器電源管理和感測器控制框架等。此外,開發人員還必須解決感測器介面設計、協議開發和整合問題。

OpenCV

近年來,電腦視覺庫 OpenCV 已成為成像解決方案開發人員中,最受歡迎的影像處理平台。開發人員可以使用 OpenCV 庫在其影像串流解決方案中,實現高階影像處理演算法。該平台提供了 2000 多個與影像處理相關的演算法。由於 OpenCV 庫是用 C++ 程式語言所編寫的,開發人員可以輕鬆地將這些軟體堆疊整合到他們的設計中。

OpenCV 使開發人員能夠專注於影像擷取捕捉、影像處理和分析,包括人臉檢測和物體檢測等功能。OpenCV 還提供在 n 維陣列中儲存、讀取和寫入影像,並執行影像處理技術,如影像轉換、模糊、過濾、閾值、旋轉、縮放、直方圖均衡等。

除了 OpenCV,Tensorflow、Keras、PyTorch 和 Caffe,是一些流行的平台和軟體框架,可以在人工智慧驅動的流媒體設計中實現。這些開源平台幫助開發人員輕鬆地將機器學習、深度學習和人工神經網路,整合到他們的設計中。如今,領先的 SOC 製造商提供 OpenCV 和其他軟體框架,作為其 SDK 的一部分。

演算法

演算法可以在高效能、即時影像流攝影機設計中分兩層實現。雖然第一層專門滿足影像處理,但第二層演算法為捕獲的視覺效果增加了智慧。

高畫質攝影機捕捉高細節的影像。然而,捕獲的資料可能需要進一步增強,以便進行有效的分析和準確的決策。實現視覺演算法,特別是那些有助於影像校正和增強的演算法,已成為現代監控攝影機的最低要求。通常實現的演算法包括自動對焦、自動曝光、直方圖、色彩平衡和焦點括號等。

可以實現的一些關鍵影像處理和增強技術包括:

  • 拜耳到 RGB
  • 白平衡
  • 有缺陷的畫素校正
  • 彩色濾波器陣列插值
  • 顏色/伽馬校正
  • 顏色空間轉換
  • 影像降噪
  • 邊緣增強
  • 影像縮放
  • 影像視窗 – 物件追蹤
  • 影像穩定
  • 影像壓縮
  • 資料加密


第二層演算法在先進的監控攝影機上實現,該攝影機利用由人工智慧演算法驅動的複雜視覺分析,來提供即時情景感知。這些系統結合了影像捕捉、處理、影像分析和實時通訊,以實現有效的情景感知和決策。

這些攝影機在自動檢測火災、煙霧、人員計數、安全區監控、臉部辨識、人體姿勢估計、場景辨識等方面越來越多。

人工智慧和 ML:在邊緣提供智慧

監控和工業攝影機的新興趨勢之一是智慧攝影機,該系統具有足夠的運算能力,和整合的人工智慧演算法,有助於在邊緣做出智慧決策。人工智慧與機器學習和深度神經網路相結合,透過為系統提供卓越的智慧,大大實現了影像串流設計。



這些技術可以透過管理影像內容,和減少對人類操作員的依賴,來簡化影像編碼和傳輸工作流程。AI 演算法檢測、辨識和分類影像中的特定線索,並為處理器提供所需的智慧,以記錄、編碼和將相關資料包,傳輸到使用者或雲端。這減少了傳輸負載,也有助於系統收集和儲存重要資料,並減輕儲存基礎設施的負擔。

關鍵效能和功能考慮

高畫質/4K 影像串流

高畫質影像串流(4K 影像串流)越來越受歡迎,越來越成熟。然而,當涉及到工業和監控應用時,即時高畫質影像串流帶來了重大挑戰,因為系統必須處理大量的資料。在大多數情況下,生成的大量資料需要以最小的延遲傳輸到遠端位置 —— 這是高畫質/4K 影像串流的主要挑戰之一。

這在很大程度上,可以透過選擇合適的處理器來解決,最好是 FPGA。與傳統處理器相比,FPGA 有幾個好處,開發人員可以輕鬆地在裝置中,整合複雜的影像分析演算法。大量邏輯單元和嵌入式 DSP 塊的可用性,以及靈活的連線選項,使 FPGA 成為能夠處理更快的影像處理,和即時高畫質影像串流的動力源。

影像壓縮

原始影像檔案由處理器數位化、壓縮和打包,以便更快地傳輸到遠端監控系統。攝影機使用各種影像壓縮技術和演算法來壓縮影片,主機 PC 可以進一步重建為原始解析度和格式。

開發人員可以使用 MJPEG、MPEG-4、H.263、H.264、H.265 和 H.265+ 等標準進行影像壓縮,以便於傳輸。

影像串流媒體協議

對於透過網路即時串流媒體影像,可以在攝影機中實現幾種影像串流媒體協議。常用的協議包括即時流協議(RTSP),它充當流分離器(攝影機和主機 PC)之間的控制協議,並促進串流媒體多媒體、即時傳輸協議(RTP)、透過網路和 HTTP 傳輸媒體流的傳輸,該協議為透過 IP 網路傳輸多媒體檔案(包括影像、聲音和圖像)提供了一套規則。RTSP 與 RTP 和 RTCP 一起,支援低延遲流媒體,使其成為高速流媒體攝影機設計的理想選擇。



小型,低功耗設計

如今,嵌入式產品開發人員正在競爭縮小其產品規模,同時提高效率。低功耗、小尺寸多核 SoC、圖形加速器和記憶體技術的出現,正在幫助設計師建構小佔地面積、高能效的攝影機。

工業攝影機,以及非常廣泛地監控攝影機,由於其佈署的性質,需要低功耗設計。為苛刻環境設計的此類攝影機必須提供低能量耗散,同時最大限度地延長電池壽命。

開發人員也可以考慮將 PoE 用於有線攝影機設計。監控系統嚴重依賴 NVR 或雲端儲存來儲存影像片段,以供將來參考和分析。由於實體網路連線對有線應用很重要,PoE 確保攝影機始終供電和連線。開發人員可以選擇在設計中使用 PoE 或 PoE+。

雖然 PoE(IEEE 802.3af)允許 15 瓦的電力,但 PoE+(IEEE 802.3at)提供 30 瓦。根據攝影機配置和應用式,開發人員可以選擇標準。PoE 攝影機使終端使用者的安裝過程更容易,也更少亂,因為它滿足了對電源線的需求。

雲整合

雲提供了佈署系統的靈活性和多功能性,跨多個位置儲存資料,整合高階影像分析,從而提高整體系統效能。基於雲的系統利用雲端運算技術、人工智慧演算法和電腦視覺,來提供尖端的監控解決方案。



人工智慧演算法為捕獲的資料提供了更高的智慧,使使用者能夠收集有用的見解。然而,與邊緣運算裝置不同,雲端運算可能具有訊號延遲的輕微劣勢,將決策過程延遲一兩秒。儘管如此,優勢還是很多。

影像監控的關鍵挑戰之一,是需要大量的基礎設施 —— 特別是用於資料儲存和計算系統的硬體。雲提供了一個簡單而實惠的解決方案,讓使用者可以隨時隨地儲存和訪問資料,而不必擔心儲存限制。此外,雲解決方案是備援的,更可靠。AWS、Microsoft Azure、Google Cloud 和 IBM 是開發人員可以考慮的領先雲服務提供商之一。

影像串流設計需要多個學科

即時高畫質影像串流是當時需要的。從工業機器人到複雜的無人機,從安全和監控到醫療應用,高品質的成像正在嵌入式世界中,發揮著非常重要的作用。先進的攝影機能夠捕捉和傳輸大量資料,利用高速工業介面和協議。本報導的想法是,瞭解基本元件並探索關鍵的設計考慮因素,同時為監控應用開發高效能、即時影像串流攝影機。透過使用領先的 SoC、最新的感測器,以及整合各種影像處理和串流媒體平台,人們可以開發出最先進的即時影像串流攝影機。包括感測器外殼在內的機械設計,滿足環境和溫度標準,對攝影機的成功設計也極為重要。

作為開發人員,人們應該在選擇和整合攝影機感測器、高畫質影像串流協議、系統軟體和感測器驅動程式的實施、攝影機介面的開發和整合、影像訊號處理、感測器調諧、影像/圖片壓縮演算法、影像增強技術等方面擁有專業知識,以實現高階即時影像串流設計。



0 comments: