攝影機是如何運作的? How does a camera work?(非本文影片)
安控攝影機分類根據輸出影像信號的不同,我們可以將安控攝影機分為類比、數位、網路三類。不同類型的攝影機內部組件和機制不同,例如類比攝影機和數位攝影機,它們只有圖像處理,沒有影像圖像編碼。
為了簡單起見,這裡介紹一下攝影機的內部結構和組成。總的來說,我們可以將安控攝影機的內部分為圖像採集、影像圖像處理與編碼、信號輸出三大部分。
圖像捕捉
攝影機的圖像採集,主要由鏡頭和晶片上的圖像感測器完成。光線穿過鏡頭,進入晶片上的感測器。感測器負責將接收到的光信號轉換成電信號,然後交給晶片上的後續單元進行處理。
影像採集請參考安控攝影機影像參數。
鏡頭的焦距(定焦、變焦)、光圈、數量(多眼相機使用的多鏡頭)、有效像素等,都會影響發送到感測器的信號,從而影響最終的成像效果。
鏡頭的相關概念,及其在安控行業的具體應用,請參考以下章節:安控攝影機鏡頭、魚眼鏡頭、安控攝影機景深、基於像素密度的攝影機選擇。
光到達感測器後,首先進行將光信號轉換為電信號的初步處理。感測器的主要性能參數,包括目標尺寸、有效像素、弱光性能等。這些也會影響最終的成像效果。感測器的參數和性能,請參考安控圖像感測器、Starvis 全彩攝影機技術、安控攝影機寬動態功能等章節。
圖像處理、影像編碼
感測器轉換後的電信號,需要傳送到攝影機晶片上的處理器,進行圖像處理、影像編碼等操作。
處理器是一個很籠統的名詞,類似於電腦或手機的 CPU。對於輸出類比或數位信號的攝影機來說,這裡的處理器主要是指 ISP,即 Image Signal Processor。
ISP 的主要工作包括:
- DEMOSAIC,翻譯成中文就是解馬賽克。感測器輸出的每個像素信號,只包含 R、G、B 中的一種顏色數據。這種數據就是拜耳數據,也就是通常所說的 RAW 數據。顯然,RAW 數據所反映的色彩資訊,並不是真實的色彩資訊。DEMOSAIC 的工作,是透過插值算法,計算出每個像素所代表的真彩色,即將貝爾圖像轉換為真彩色圖像。
- 3A 控制。它是自動對焦 (AF)、自動曝光 (AE) 和自動白平衡 (AWB) 的總稱。這是 ISP 對比的核心部分,處理的好壞直接關係到最終輸出的圖像效果。ISP 可透過 CONTRAST AF、PDAF、LASER AF 等,多種自動對焦算法實現自動對焦,使目標在感測器上清晰成像。曝光主要影響圖像的亮度。ISP 可以控制曝光程度,使圖像亮度合適。白平衡與色溫有關,用於衡量圖像的色彩真實性和準確性。自動白平衡功能力求在各種複雜場景中,準確還原目標的原始色彩。
- 伽瑪校正。感測感器對光的反應,不同於人眼對光的反應。伽瑪校正,就是使圖像看起來符合人眼的特性。
- 圖像裁剪。即透過改變圖像的大小,可以輸出不同解析度的圖像。比如原來 2048*1536 的解析度,4:3 裁剪成 2304×1296,16:9 的解析度更符合寬螢幕的視覺效果。或者 5MP 感測器,也可以支持 4MP、3MP、1080P 等不同解析度。
- 智慧算法。用於辨識特定目標,如人臉辨識、人形辨識、車牌辨識等。ISP 利用各種智慧算法準確辨識特定目標。當然,在網路攝影機中,也可以將智慧算法內置到編碼晶片中。同時,智慧算法和結構化數據功能可以放置在感測器中。比如索尼的 AI 感測器(SONY IMX500/501)已經實現了結構化數據的直接輸出。
- 動態範圍。動態範圍是圖像的明暗範圍。ISP 處理使目標圖像的暗部不會曝光不足,明亮的場景不會過度曝光。除了 ISP 支持的動態範圍處理,圖像感測器還需要支持動態範圍(HDR)功能。詳情請參考「安控攝影機的寬動態功能」部分。
- 穩定圖像,防抖。主要功能是防止由於攝影機的輕微晃動,而導致圖像模糊。
除了以上的工作和流程,ISP的功能還包括降噪、對比度、飽和度、銳度等。由於不同廠商、不同方案商的技術積累,以及算法的差異,攝影機的圖像效果與相同的硬體解決方案,會有所不同。
類比光信號透過感測器轉換為數位信號,經過 ISP 處理後,可以直接輸出數位信號的圖像,如 SDI 攝影機。也可以再次進行數位類比轉換,將數位信號轉換成類比信號輸出,如傳統 cvbs 信號的類比 SD 攝影機,AHD/CVI/TVI/XVI 等高清類比攝影機。
另一方面,數位信號也可以透過網路,即網路攝影機進行編碼輸出和傳輸。此時的編碼需要專門的編碼晶片來完成。需要說明的是,目前大部分的編碼晶片都整合了 ISP 功能。
對於具有影像編碼功能的處理器,我們一般稱其為 CPU、DSP 或 SOC。嚴格來說,三者之間是有區別的。但是對於安控攝影機的處理晶片來說,稱它為 CPU、DSP 或 SOC 也不錯。為了統一和遵循廠商的習慣命名,我們將支持影像編碼功能的處理器稱為 SOC。
SOC,即片上系統,可以看作是處理器、ISP、編碼晶片三合一。下面是典型的安控影像編碼晶片框圖:
由此我們可以看出其主要結構分為四核 Arm® Cortex®-A53(即處理器)、圖像信號處理器(ISP)、影像編解碼器。前端可連接感測器、音響、報警器等設備。為了支持系統的運行,有運行內不記憶體和內部。可直接擴展 WiFi/4G、SD 卡儲存等,可輸出類比/數位影像、音訊、警報、網路、串口(485、232)等信號。
SOC 的核心功能是影像編碼。例如,上面提供的典型 SOC 晶片支持三種影像編碼方式:H.264、H.265 和 MJPEG。影像編碼的相關概念在影像編碼部分有詳細的介紹,這裡不再贅述。
現階段,隨著晶片技術和 AI 智慧算法的發展,越來越多的 SOC 廠商將智慧功能,內置到 SOC 晶片中,比 ISP 內置的功能更多、功能更強大、擴展性更強。
關於 SOC、DSP,即其智慧功能,請參考以下章節:安控產品中的處理器-DSP、ISP、SOC。
信號輸出
經 ISP 或 SOC 處理的影像信號、音訊或其他信號,可根據需要輸出為類比、數位和網路信號。
- 類比信號。影像圖像的電信號經過 ISP 處理後,透過 D/A 轉換成類比信號,透過 BNC 連接器輸出。常見的類比影像信號包括標清 CVBS、高清 AHD/TVI/CVI/XVI 等。理論上,高清 AHD/TVI/CVI/XVI 信號,可以在傳輸影像信號的同時傳輸音頻、警報和控制信號。
- 數位信號。影像圖像的電信號經過 ISP 處理後,不再直接透過 D/A 轉換輸出數位信號。常見的輸出接口,可以是 BNC 頭或 HDMI 接口。這種攝影機主要是 SDI 攝影機。HDMI 接口可以在傳輸數位影像信號的同時傳輸音訊。
- 網路信號。數位信號透過編碼晶片進行編碼,然後可以透過網路傳輸。這種網路信號需要經過相應的解碼,才能顯示影像圖像。常見的解碼設備和方法,包括相應的電腦客戶端、NVR、影像解碼器、網路矩陣等。另一方面,音訊、警報、RS485 等信號,也可以與影像信號一起編碼後,透過網路傳輸。
沒有留言:
張貼留言