如何將您的網路攝影機串流到 YouTube

Klacci 凱樂奇 Kii Assistant 智慧酒店服務系統

即時監控和遠端監控在石油和天然氣、電網、工業自動化和智慧建築等廣泛行業中越來越重要。監視應用對高品質即時影像串流的需求，比以往任何時候都高，這需要運算密集型影像處理設計，和先進的編碼和解碼技術。

作者：Pramod Ramachandra，技術架構師-軟體設計，Mistral Solutions Pvt Ltd。

先進的攝影機架構，包括帶有視覺分析和影像處理演算法的板載微處理器，或 FPGA，用於攝影機內的畫素預處理和決策。在人工智慧演算法的補充下，這些高階攝影機還可以促進與中央指揮中心的即時通訊，並僅串流式傳輸具有重要意義的鏡頭，以幫助使用者級別的決策。

從早期監視僅限於透過同軸電纜，連線到 PC 顯示器的幾個類比攝影機開始，該模式已經發展，並達到了更大的範圍和重要性。數位技術的出現，有助於克服類比系統的幾個缺點，如複雜的佈線、低影像品質、埠數限制、低隱私和安全性等。

感測器技術和嵌入式電子產品的快速發展，特別是運算密集型 SoC、高速 DSP、高速無線/有線介面、影像串流協議和雲端技術的到來，使攝影機超越了傳統的監控，並促進了基於人工智慧的高階視覺應用，如安全區監控、禁區、物體檢測等。

高速即時影像串流攝影機的設計和實施，需要各種嵌入式技術的專業知識。本報導試圖深入研究，用於監控應用的高階攝影機的設計。我們探索了攝影機架構和影像串流的基礎知識，以及幾個串流媒體協議、感測器和處理引擎的選擇、系統軟體要求和雲端整合等。

設計考慮

關鍵系統元件

影像感測器

影像感測器是攝影機系統的眼睛，它包含數百萬個稱為畫素的離散光探測器場景。所有成像感測器 —— 用於靜止、電影、工業或安全攝影機 —— 都使用電荷耦合裝置（CCD），或互補金屬氧化物半導體（CMOS）感測器技術。感測器的基本作用，是將落在鏡頭上的光轉換為電訊號，而電訊號又將被攝影機處理器轉換為數位訊號。

監控攝影機需要更高的光敏度，從而產生更好的低光影像。由於更高的動態範圍、視野和更高的快門速度，先進的影像感測器提供低噪聲的高品質影像。

由於尺寸、重量、功率和成本等各種因素，影像感測器對攝影機的效能產生巨大影響。選擇正確的感測器，是設計用於監控應用的高品質攝影機的關鍵。感測器的選擇受到幾個因素的影響，如幀速率、解析度、畫素大小、功耗、量子效率和 FoV 等。

感測器介面

感測器介面的選擇，是影響攝影機效能的另一個關鍵因素。MIPI CSI（1/2/3）是目前最常用的感測器介面之一。由於 MIPI CSI 提供精益整合，NXP、NVIDIA、高通和英特爾等幾家領先的晶片製造商，正在將這項技術用於工業設計。帶有 MIPI CSI 介面的 CMOS 感測器，可實現從感測器到系統主機 SoC 的快速資料傳輸，從而促進高速和系統效能。開發人員還可以在訊號處理在不同平台或系統的應用中，使用 GMSL 和 FPD Link 等高速介面。這些介面極大地影響了攝影機的整體效能，這是即時影像串流應用的關鍵。

攝影機介面

辨識具有高速影像串流功能的正確攝影機介面，同樣非常重要。開發人員可以依靠 USB 3.2、CoaXPress 2.0、Thunderbolt3、DCAM、CameraLink HS（Framegrabber）和千兆位乙太網等高速介面。

訊號處理引擎

市場上有各種基於領先 GPU、SOC 和 FPGA 的 SOM 和 SBC，是高階攝影機設計的理想選擇。從這個大池中辨識正確的處理器，可能是一項艱鉅的任務。處理引擎必須支援攝影機系統不斷變化的影像編碼、解碼和應用處理要求。

此外，處理器應幫助關鍵攝影機參數設定，如自動對焦、自動曝光和白平衡，以及降噪、畫素校正和顏色插值等。

硬體加速影像編碼（GPU）和流媒體的出現，透過提供突破性的效能，極大地實現了成像應用，特別是監控和機器視覺。GPU 比 CPU 提供更多的運算能力，這對高效能、即時系統來說是不可或缺的。

NVIDIA Jetson、高通驍龍、Xilinx、英特爾、Microchip、Lattice Semiconductor 等的 FPGA 是一些領先的平台，極大地幫助高階攝影機進行視覺分析和工業應用。支援硬體加速媒體編碼和解碼的處理平台，將是攝影機開發人員的理想選擇。

用於高階監控應用的攝像機，必須具有高解析度和高幀速率，具有行業領先的影像壓縮和流化功能，以及低功耗。內建影像分析的高階低功耗嵌入式處理器，為攝影機提供特定於應用的智慧。

這些 SoC 使系統能夠只記錄、串流式傳輸和儲存必要的影像序列。這種處理引擎，在開發人員中越來越受歡迎，因為它們有助於使用者快速實現即時通訊。

使用 FPGA，高階 DSP 和 GPU 實現邊緣運算，並提供未來功能，如智慧運動檢測、物體檢測和計數，以及攝影機篡改檢測等，輔之以高階影像分析和人工智慧演算法。

具有邊緣運算的攝影機，是時間敏感應用的理想選擇，有助於在邊緣做出智慧決策。此類系統強烈推薦用於遠端應用，因為與雲或中央指揮中心的連線有限。

一些領先的 SOC 製造商和處理器，是設計即時影像串流媒體攝影機的理想選擇：

Intel

英特爾 Movidius：使產品開發人員能夠在智慧攝影機和擴增實境裝置中，佈署深度神經網路和電腦視覺應用。

NVIDIA

NVIDIA Jetson SoMs：提供效能和能效，以建構支援智慧機器視覺的系統。

NXP

i.MX 8 系列應用處理器：適用於高階圖形、成像、語音、影像、機器視覺和安全關鍵型應用的可擴充多核平台。

Qualcomm

高通 APQ/QCS 應用處理器：高度整合的平台，用於需要強大的多核處理、下一代電腦視覺的緊湊設計，非常適合建構高階攝影機、機器人等。

XILINX

Zynq UltraSCALE+：為圖形、影像、波形和資料包處理，提供軟引擎和硬引擎的即時控制。

ARM

Arm 提供了一系列 RISC 處理器核心，這些核心在幾個 SoC 和 SBC 上實現。

Cortex A：用於智慧攝影機設計的 32 位和 64 位 RISC ARM 處理器核心。
Cortex M：32 位 RISC ARM 處理器核心，針對低成本和節能的微控制器進行了最佳化。
Cortex R：32 位 RISC ARM 處理器核心，針對硬即時和安全關鍵型應用進行了最佳化。
Cortex X：Arm RISC 核心，用於高效能人工智慧驅動和連線攝影機。
Ethos N：目的在滿足複雜的機器學習要求。
Ethos U：專為嵌入式人工智慧應用而設計。
馬裡攝影機：用於人工智慧驅動的連線攝影機的高效能影像訊號處理器（ISP）核心。

系統軟體

作業系統

儘管出現了幾個作業系統，但 Linux 統治著嵌入式世界。多年來，由於其穩定性和網路能力，特別是在網路和通訊領域，它一直是嵌入式裝置開發人員首選的嵌入式作業系統。開發人員可以使用 Linux 進行高畫質串流攝影機設計，因為他們可以利用眾多 Linux 供應商，提供基於不同核心版本的客製化解決方案。

由於 Linux 是一個開源作業系統，開發人員可以輕鬆快速地進行更改，並重新分發它。人們可以使用 Linux 滿足專案的獨特要求，同時輕鬆解決關鍵因素，包括功耗、資料串流，以及硬體配置或其他軟體元素，帶來的任何其他挑戰。

使用 Linux 的一些優點：

多執行緒、多功能作業系統是複雜應用的理想選擇
使用 Linux 使開發人員能夠輕鬆釋出軟體升級，並管理與第三方系統的相容性
由於 Linux 是一個開源作業系統，因此實現/移植軟體的成本相對較低。大部分費用將出現在開發費用上
Linux 允許根據特定要求輕鬆客製化和整合 I/O
使用 Linux 可以更快地進入市場 —— 只需最少的客製化，開發人員就可以輕鬆地整合現成的開源軟體元件。

感測器驅動程式

感測器驅動器的開發和整合，是攝影機設計的另一個關鍵部分。大多數感測器模組都帶有驅動程式，但開發人員也可以根據最終產品的具體需求，編寫攝影機感測器驅動程式。
感測器驅動器應解決幾個關鍵元件，如時鐘頻率、幀大小、幀間隔、訊號傳輸、串流控制、感測器電源管理和感測器控制框架等。此外，開發人員還必須解決感測器介面設計、協議開發和整合問題。

OpenCV

近年來，電腦視覺庫 OpenCV 已成為成像解決方案開發人員中，最受歡迎的影像處理平台。開發人員可以使用 OpenCV 庫在其影像串流解決方案中，實現高階影像處理演算法。該平台提供了 2000 多個與影像處理相關的演算法。由於 OpenCV 庫是用 C++ 程式語言所編寫的，開發人員可以輕鬆地將這些軟體堆疊整合到他們的設計中。

OpenCV 使開發人員能夠專注於影像擷取捕捉、影像處理和分析，包括人臉檢測和物體檢測等功能。OpenCV 還提供在 n 維陣列中儲存、讀取和寫入影像，並執行影像處理技術，如影像轉換、模糊、過濾、閾值、旋轉、縮放、直方圖均衡等。

除了 OpenCV，Tensorflow、Keras、PyTorch 和 Caffe，是一些流行的平台和軟體框架，可以在人工智慧驅動的流媒體設計中實現。這些開源平台幫助開發人員輕鬆地將機器學習、深度學習和人工神經網路，整合到他們的設計中。如今，領先的 SOC 製造商提供 OpenCV 和其他軟體框架，作為其 SDK 的一部分。

演算法

演算法可以在高效能、即時影像流攝影機設計中分兩層實現。雖然第一層專門滿足影像處理，但第二層演算法為捕獲的視覺效果增加了智慧。

高畫質攝影機捕捉高細節的影像。然而，捕獲的資料可能需要進一步增強，以便進行有效的分析和準確的決策。實現視覺演算法，特別是那些有助於影像校正和增強的演算法，已成為現代監控攝影機的最低要求。通常實現的演算法包括自動對焦、自動曝光、直方圖、色彩平衡和焦點括號等。

可以實現的一些關鍵影像處理和增強技術包括：

拜耳到 RGB

白平衡

有缺陷的畫素校正

彩色濾波器陣列插值

顏色/伽馬校正

顏色空間轉換

影像降噪

邊緣增強

影像縮放

影像視窗 – 物件追蹤

影像穩定

影像壓縮

資料加密

第二層演算法在先進的監控攝影機上實現，該攝影機利用由人工智慧演算法驅動的複雜視覺分析，來提供即時情景感知。這些系統結合了影像捕捉、處理、影像分析和實時通訊，以實現有效的情景感知和決策。

這些攝影機在自動檢測火災、煙霧、人員計數、安全區監控、臉部辨識、人體姿勢估計、場景辨識等方面越來越多。

人工智慧和 ML：在邊緣提供智慧

監控和工業攝影機的新興趨勢之一是智慧攝影機，該系統具有足夠的運算能力，和整合的人工智慧演算法，有助於在邊緣做出智慧決策。人工智慧與機器學習和深度神經網路相結合，透過為系統提供卓越的智慧，大大實現了影像串流設計。

這些技術可以透過管理影像內容，和減少對人類操作員的依賴，來簡化影像編碼和傳輸工作流程。AI 演算法檢測、辨識和分類影像中的特定線索，並為處理器提供所需的智慧，以記錄、編碼和將相關資料包，傳輸到使用者或雲端。這減少了傳輸負載，也有助於系統收集和儲存重要資料，並減輕儲存基礎設施的負擔。

關鍵效能和功能考慮

高畫質/4K 影像串流

高畫質影像串流（4K 影像串流）越來越受歡迎，越來越成熟。然而，當涉及到工業和監控應用時，即時高畫質影像串流帶來了重大挑戰，因為系統必須處理大量的資料。在大多數情況下，生成的大量資料需要以最小的延遲傳輸到遠端位置 —— 這是高畫質/4K 影像串流的主要挑戰之一。

這在很大程度上，可以透過選擇合適的處理器來解決，最好是 FPGA。與傳統處理器相比，FPGA 有幾個好處，開發人員可以輕鬆地在裝置中，整合複雜的影像分析演算法。大量邏輯單元和嵌入式 DSP 塊的可用性，以及靈活的連線選項，使 FPGA 成為能夠處理更快的影像處理，和即時高畫質影像串流的動力源。

影像壓縮

原始影像檔案由處理器數位化、壓縮和打包，以便更快地傳輸到遠端監控系統。攝影機使用各種影像壓縮技術和演算法來壓縮影片，主機 PC 可以進一步重建為原始解析度和格式。

開發人員可以使用 MJPEG、MPEG-4、H.263、H.264、H.265 和 H.265+ 等標準進行影像壓縮，以便於傳輸。

影像串流媒體協議

對於透過網路即時串流媒體影像，可以在攝影機中實現幾種影像串流媒體協議。常用的協議包括即時流協議（RTSP），它充當流分離器（攝影機和主機 PC）之間的控制協議，並促進串流媒體多媒體、即時傳輸協議（RTP）、透過網路和 HTTP 傳輸媒體流的傳輸，該協議為透過 IP 網路傳輸多媒體檔案（包括影像、聲音和圖像）提供了一套規則。RTSP 與 RTP 和 RTCP 一起，支援低延遲流媒體，使其成為高速流媒體攝影機設計的理想選擇。

小型，低功耗設計
如今，嵌入式產品開發人員正在競爭縮小其產品規模，同時提高效率。低功耗、小尺寸多核 SoC、圖形加速器和記憶體技術的出現，正在幫助設計師建構小佔地面積、高能效的攝影機。
工業攝影機，以及非常廣泛地監控攝影機，由於其佈署的性質，需要低功耗設計。為苛刻環境設計的此類攝影機必須提供低能量耗散，同時最大限度地延長電池壽命。
開發人員也可以考慮將 PoE 用於有線攝影機設計。監控系統嚴重依賴 NVR 或雲端儲存來儲存影像片段，以供將來參考和分析。由於實體網路連線對有線應用很重要，PoE 確保攝影機始終供電和連線。開發人員可以選擇在設計中使用 PoE 或 PoE+。
雖然 PoE（IEEE 802.3af）允許 15 瓦的電力，但 PoE+（IEEE 802.3at）提供 30 瓦。根據攝影機配置和應用式，開發人員可以選擇標準。PoE 攝影機使終端使用者的安裝過程更容易，也更少亂，因為它滿足了對電源線的需求。
雲整合
雲提供了佈署系統的靈活性和多功能性，跨多個位置儲存資料，整合高階影像分析，從而提高整體系統效能。基於雲的系統利用雲端運算技術、人工智慧演算法和電腦視覺，來提供尖端的監控解決方案。

人工智慧演算法為捕獲的資料提供了更高的智慧，使使用者能夠收集有用的見解。然而，與邊緣運算裝置不同，雲端運算可能具有訊號延遲的輕微劣勢，將決策過程延遲一兩秒。儘管如此，優勢還是很多。

影像監控的關鍵挑戰之一，是需要大量的基礎設施 —— 特別是用於資料儲存和計算系統的硬體。雲提供了一個簡單而實惠的解決方案，讓使用者可以隨時隨地儲存和訪問資料，而不必擔心儲存限制。此外，雲解決方案是備援的，更可靠。AWS、Microsoft Azure、Google Cloud 和 IBM 是開發人員可以考慮的領先雲服務提供商之一。

影像串流設計需要多個學科

即時高畫質影像串流是當時需要的。從工業機器人到複雜的無人機，從安全和監控到醫療應用，高品質的成像正在嵌入式世界中，發揮著非常重要的作用。先進的攝影機能夠捕捉和傳輸大量資料，利用高速工業介面和協議。本報導的想法是，瞭解基本元件並探索關鍵的設計考慮因素，同時為監控應用開發高效能、即時影像串流攝影機。透過使用領先的 SoC、最新的感測器，以及整合各種影像處理和串流媒體平台，人們可以開發出最先進的即時影像串流攝影機。包括感測器外殼在內的機械設計，滿足環境和溫度標準，對攝影機的成功設計也極為重要。

作為開發人員，人們應該在選擇和整合攝影機感測器、高畫質影像串流協議、系統軟體和感測器驅動程式的實施、攝影機介面的開發和整合、影像訊號處理、感測器調諧、影像/圖片壓縮演算法、影像增強技術等方面擁有專業知識，以實現高階即時影像串流設計。