2024年5月13日 星期一

★ 3D 攝影機簡介

 
這就是未來嗎? 具有即時檢視功能的新型 3D 攝影機 



Preferred Networks


什麼是 3D 攝影機?

近年來,3D 攝影機越來越多地用於電腦視覺應用。在今天,機器人、自動駕駛、品質檢查等領域,受益於不同類型的 3D 感應技術的可用性。利用此類感測器提供的額外資料,可以在檢測和辨識、姿勢估計、 3D 重建等任務上獲得更好的效能。這篇部落格報導概述了市場上最常見的 3D 感測技術,及其生成 3D 資料的基本機制。

數位(彩色)攝影機捕捉透過一個,被稱為孔徑進入光學系統的光線。在內部,光感測器的網格(或陣列)在被入射光擊中時,返回每個感測器的電流。不同的當前水準被組合成代表光的複合資料模式,最終用三個不同的通道編碼,稱為 RGB(紅色、綠色、藍色)。

3D 攝影機\相機提供與可見性範圍內的物體相關的 3D 資料。其中一些對(每個畫素)物體的距離(深度)進行編碼,而另一些則輸出 3D 座標。在某些情況下,顏色資訊可以附加到它上面,以獲取通常被稱為 RGBD 或 RGBXYZ 的資料。然而,這通常需要兩個攝影機\相機 —— 一個輸出顏色,一個輸出 3D 資料 —— 它們是同步和校準的(即它們之間的旋轉翻譯是已知的,以及鏡頭失真參數)。

最常見的技術是什麼?

目前市場上的大多數攝影機都圍繞著四種主要的 3D 感測技術:

立體視覺 Stereo vision

立體視覺遵循與人類眼睛相同的功能原理。兩個攝影機在給定距離(稱為基線)上彼此相鄰放置,並同時觸發。這導致兩個影像(左和右),其中可以看到相同的物件。點對點對應是在兩個影像之間計算的。鑑於相機和鏡頭失真參數之間的旋轉轉換,可以對點對點對應進行三角測量,以獲得 3D 空間中的相應位置。(中國將 Stereo vision 譯作立體聲視覺完全大錯特錯)


立體視覺的基本原則

這項技術的優點是實施成本非常低,因為大多數現成的攝影機\相機都可以使用。在選擇點對應搭配演算法方面,它也很靈活,這反過來可以提供或多或少準確的資料。

然而,計算快速準確的點對點對應,是一個具有挑戰性的問題,深度估計誤差,隨著與攝影機\相機的距離(假設是針孔攝影機模式)的距離而二次增加。此外,為了恢復點對點對應,物件需要紋理化,這並不總是現實世界中的良好假設。

該類別中一些流行的攝影機是 FLIR 系統的大黃蜂系列、StereoLabs 的ZED、Nerian Vision Technologies 的 Karmin 等。

飛行時間(ToF)

飛行時間使用在攝影機和物體之間傳播的人造光訊號(由雷射或 LED 提供)。這項技術測量了光傳播到物體,並反射物體所需的時間,以估計距離。

飛行時間(ToF)的基本原則

一般來說,它們提供更密集的 3D 資料(與立體視覺相比),同時以更大的幀速率執行。與立體攝影機相比,它們也更容易配置,因為不需要點對應比對。

然而,這項技術的一些侷限性,包括相對較低的解析度,和對物體材料的反射特性的敏感性。因此,通常使用透明或高反射的物體獲得次優結果。

該類別中的一些流行攝影機是 SoftKinetic 的 DepthSense、微軟的 Kinect、Creative Labs 的 Senz3D、LUCID Vision Labs 的 Helios 等。

結構化光 Structured light

結構化光攝影機將已知模式投射到位於視野內的物體上,並透過分析其投影的變形獲得 3D 資料。

這種攝影機通常提供比近距離立體視覺攝影機更好的品質,因為圖案的投影提供了點對點,對應比對所需的清晰、預定義的紋理。

然而,由於對應比對仍然是一項昂貴的操作,與其他攝影機(如 ToF)相比,它們通常以較低的幀速率執行,並需要調整比對參數。

該類別中的一些流行攝影機是英特爾的 RealSense 系列和 IDS Imaging 的 Ensenso。

雷射三角測量

雷射三角測量技術使用二維攝影機和雷射光源。後者在視野中的物體上投射一條線,其投影在物體表面的曲率下變形。使用二維攝影機,確定多張影像中,線條的位置座標,從而可以計算物體與雷射光源之間的距離。

雷射三角測量的基本原則

與其他 3D 感應技術相比,雷射三角測量具有多種優勢。它提供了高品質的資料,沒有太多的計算負擔。此外,雷射器相對便宜,壽命非常長,可以涵蓋廣泛的材料特性。

然而,由於需要掃描物件,該過程可能很慢,因此對即時應用來說不切實際。

我應該在我的專案中使用哪個攝影機?

沒有適合所有專案的單一 3D 感應技術。它們中的每一個或多或少,對不同的物體表面屬性,或照明條件的變化都強化 3D 效果,提供更密集或更稀疏的 3D 資料,以不同的速度等操作,使其或多或少對手頭的任務有吸引力。

為了能夠決定正確的技術,需要先回答以下問題:

  • 給定專案的最大允許精度誤差是多少?
  • 專案處理的是哪種類型的物件? 它們的表面特性是什麼?
  • 工作距離範圍是多少?
  • 3D 感測器的預算是多少?
  • 需要即時處理資料嗎?


對於涉及 3D 座標/長度測量的應用案例,即高精度很重要且物體在相對較小的工作距離範圍內,立體視覺和結構光感測器通常是不錯的選擇。缺點是,獲得高解析度資料是以高計算成本(因此成本低幀率)為代價的。此外,搭配演算法的參數可能難以配置,需要根據環境(照明條件、材料屬性等)進行調整。

飛行時間攝影機通常用於自主機器人(即室內導航)或托盤任務等設定,在這種環境中,精度可能會受到損害以換取速度。它們通常比立體/結構光攝影機更容易配置,也比立體/結構光攝影機便宜,但也對物體的反射率特性更敏感。

雷射三角測量通常是品質控制,或座標/長度測量等應用的良好選擇,即使對於低對比度物體,也需要高精度資料。這是以速度為代價的,因為掃描過程需要停止才能記錄雷射線的變化。



沒有留言:

張貼留言