3S Market「全球智慧科技應用」市場資訊網: ★ TOF 飛行時間攝影機

飛行時間相機-介紹圖1

圖1：3D飛行時間攝影機操作。

Klacci 凱樂奇交通運輸業解決方案

1. 介紹

3D 飛行時間（TOF）技術，正在使用低成本的 CMOS 像素陣列，和有源調製光源提供 3D 成像，正在革新機器視覺行業。結構輕薄短小，易於使用，加上高精度和幀率，使 TOF 攝影機成為廣泛應用，有吸引力的解決方案。在本報導中，我們將介紹 TOF 操作的基礎知識，並將 TOF 與其他 2D/3D 視覺技術進行比較。然後探索了受益於 TOF 感測的各種應用，如手勢、3D掃描和列印。最後，提供了幫助讀者開始使用德州儀器的 3D TOF 解決方案的資源。

2. 操作理論

3D 飛行時間（TOF）攝影機的工作原理，是使用調製光源照亮場景，並觀察反射光。測量照明和反射之間的相移，並轉換為距離。圖1 說明了 TOF 的基本概念。通常，照明來自在人眼看不見的近紅外線範圍（~850nm）執行的固態雷射器或 LED。目的在反應處理相同光譜的成像感測器，接收光並將光子能量轉換為電流。請注意，進入感測器的光線，有一個環境分量和一個反射分量。距離（深度）資訊僅嵌入反射元件中。因此，高環境分量降低了信噪比（SNR）。

為了檢測照明和反射之間的相移，光源由連續波（CW）脈衝或調製，光源通常是正弦波或方波。方波調製更常見，因為它可以使用數位電路輕鬆實現。

脈衝調製可以透過從反射光中整合光電子，或在首次檢測反射時，啟動快速計數器來實現。後者需要一個快速的光探測器，通常是~~單光子雪崩~~二極體（SPAD）。這種計數方法需要快速的電子裝置，因為達到 1 毫米的精度需要計時 6.6 皮秒的脈衝。在室溫下，在矽中幾乎不可能達到這種精度水準。

圖2：兩種飛行時間方法：脈衝（頂部）和連續波（底部）。

脈衝方法很簡單。光源照明時間很短（â^†t），反射能量在每個畫素上並行取樣，使用兩個異相視窗 C1和C2，具有相同的 â^†t。測量這些樣品 Q1 和 Q2 期間累積的電荷，並使用以下公式計算距離：

相比之下，CW 方法每次測量多個樣本，每個樣本的相位步進 90 度，總共有四個樣本。使用該技術，照明和反射之間的相位角 Ï†，以及距離 d 可以計算出

因此，測量的畫素強度（A）和偏移量（B）可以透過以下方式計算：

在所有方程中，c 是光速常數。

乍一看，與脈衝方法相比，CW 方法的複雜性似乎不合理，但仔細觀察 CW 方程會發現，（Q3-Q4）和（Q1-Q2）減少了測量中恆定偏移的影響。此外，相位方程中的商減少了距離測量的恆定增益的影響，如系統放大和衰減或反射強度，這些是理想的屬性。

反射振幅（A）和偏移量（B）確實會影響深度測量精度。深度測量方差可以透過以下方式近似：

調製對比度，ð'ð''，描述了 TOF 感測器分離和收集光電子的程度。反射振幅，ð´，是光功率的函式。偏移量，ðμ，是環境光和殘餘系統偏移的函式。人們可以從方程6中推斷出，高振幅、高調製頻率和高調製對比度會提高精度；而高偏移會導致飽和並降低精度。

在高頻下，由於矽的實體特性，調製對比度可以開始減弱。這給調製頻率設定了實際上限。滾動頻率高的 TOF 感測器通常可以提供更高的精度。

事實上，CW 測量是基於相位，每 2Ï€ 環繞一次，這意味著距離也將有一個鋸齒距離。發生別名的距離稱為歧義距離，ô€€ƒamb，定義為：

由於距離是包裹，ô€€ƒamb 也是最大可測量距離。如果一個人希望延長可測量的距離，可以降低調製頻率，但要以降低精度為代價，如方程 6 所述。

先進的 TOF 系統沒有接受這種妥協，而是佈署了多頻率技術，在不降低調製頻率的情況下延長距離。多頻率技術的工作方式，是在混合中新增一個或多個調製頻率。每個調製頻率，將有不同的歧義距離，但真實位置是不同頻率一致的位置。當兩個調製一致時，稱為節拍頻率的頻率通常較低，並對應於更長的模糊距離。雙頻概念如下所示。

圖3：使用多頻率技術延長距離[6]。

3. 點雲

在 TOF 感測器中，測量 2D 可尋址陣列中每個畫素的距離，從而形成深度圖。深度圖是 3D 點的集合（每個點也稱為體素）。例如，QVGA 感測器的深度圖為 320 x 240 體素。深度圖的 2D 表示是灰度影象，如圖 4 中的蘇打水罐示範案例所示，強度越亮，體素越近。圖 4 顯示了一組蘇打水罐的深度圖。

圖4：蘇打水罐的深度圖。

或者，深度圖可以在三維空間中呈現為點的集合或點雲。 3D 點可以透過數學連線來形成一個網格，紋理表面可以對映到網格上。如果紋理來自同一主題的即時彩色影像，則會出現栩栩如栩如生的 3D 渲染主題，如圖 5 中的頭像所示。人們也許能夠旋轉頭像來檢視不同的視角。

圖5：由點雲形成的頭像。

4. 其他視覺技術

飛行時間技術，並不是唯一可用的視覺技術。在本節中，我們將 TOF 與經典的 2D 機器視覺，和其他 3D 視覺技術進行比較。本節末尾包含一個總結比較的表格。

2D 機器視覺

今天佈署的大多數機器視覺系統都是 2D 的，當照明受到密切控制時，這是一種具有成本效益的方法。它們非常適合使用眾所周知的影像處理技術（如邊緣檢測、模板搭配和形態開/閉）檢測缺陷的檢查應用。這些演算法提取關鍵特徵參數，這些引數與資料庫進行比較，以確定透過-失敗。為了檢測z軸沿線的缺陷，通常會部署額外的 1D 感測器或 3D 視覺。

在先進的影像處理演算法的幫助下，2D 視覺也可以用於非結構化環境中，以繞過由不同照明和陰影條件引起的併發症。以圖 6 中的影像為例。這些影像來自同一張臉，但在非常不同的光線下。陰影差異甚至會使人臉辨識變得困難。

相比之下，使用來自 TOF 感測器的點雲資料的電腦辨識，在很大程度上不受陰影的影響，因為照明由 TOF 感測器本身提供，深度測量是從相位測量中提取的，而不是影象強度。

圖6：相同的臉，不同的陰影。

3D 機器視覺

強大的 3D 視覺克服了 2D 視覺的許多問題，因為深度測量可用於輕鬆將前景與背景分開。這對場景理解特別有用，第一步是將感興趣的主題（前景）與影像的其他部分（背景）分開。

例如，手勢辨識涉及場景理解。使用距離作為判別器，TOF 感測器使臉部、手和手指與影像的其餘部分分離，因此可以高度自信地實現手勢辨識。

怎麼樣的味道？

在接下來的兩個小節中，我們將把 TOF 技術與其他兩種 3D 視覺技術進行比較：立體視覺和結構化光。

立體視覺與 TOF

立體視覺通常使用兩個相隔相隔的攝影機，物理排列方式與人眼相似。給定空間中的點狀物體，攝影機分離將導致兩個攝影機，影像中物體位置的可測量差異。使用一個簡單的針孔攝影機模型，可以計算每張圖片中的物體位置，我們將用 Î± 和 Î² 表示它們。有了這些角度，可以計算出深度 z。

圖8：無菌--透過差異測量的深度。

立體視覺的一個主要挑戰是解決對應問題：在一張圖片中給出一個點，如何在另一支攝影機中找到相同的點？在建立對應關係之前，差異和深度都無法準確確定。解決對應問題涉及用於特徵提取，和匹配的複雜、計算密集型演算法。特徵提取和匹配，還需要影像中足夠的強度和顏色變化，以實現穩健的相關性。如果主體缺乏這些變化，這一要求會降低立體視覺的有效性 —— 例如，測量與均勻顏色的牆壁的距離。 TOF 感測沒有這種限制，因為它不依賴於顏色或紋理來測量距離。

在立體視覺中，深度解析度誤差是距離的二次函式。相比之下，在反射光下工作的 TOF 感測器對距離也很敏感。然而，不同的是，對於 TOF 來說，這種缺點是在必要時，透過增加照明能量來補救的；TOF 將強度資訊用作「置信」指標，以使用 Kalman 濾波器類技術最大限度地提高準確性。

立體視覺有一些優點。實施成本非常低，因為可以使用最常見的現成攝影機。此外，類似人類的物理配置，使立體視覺非常適合捕捉影像，以直觀地呈現給人類，因此人類和機器都在看相同的影像。

結構化光與 TOF

Structured-Light 的工作原理，是將已知的模式投射到主體上，並檢查模式失真。通常需要連續投影編碼或相移模式，來提取單個深度幀，這會導致較低的幀速率。低幀率意味著主體在投影序列中，必須保持相對靜止，以避免模糊。反射模式對環境的光學干擾很敏感；因此，結構化光往往更適合室內應用。結構化光的一個主要優點是，它可以透過使用現成的 DLP 投影機和高畫質彩色影像，實現相對較高的空間（X-Y）解析度。圖 9 顯示了結構化光的概念。