.3D 人臉辨識攝影機和結構光 (上) —— AI 安控應用深度報導

3D Sensing Technology With 10X More Sensor Points Than Apple's Face ID

科寶電子官網 www.cop-security.com

來源:智客 作者:房叔话安防


一文看盡雙目攝影、結構光、ToF 和雷射雷達技術;一文深入瞭解奥比中光、华捷艾米、的卢深视、Pico 和镭神智能;2大趨勢、2大核心技術。

開篇
最近小編深感疲憊,主要是 2 個熱點話題給鬧的。一個是「996」,前段時間引起了熱烈的討論,一周工作 6 天,每天工作 12 個小時,如果禮拜天做工一天,基本上就沒有什麼休息時間了,當然我也聽說個一個工作方式,叫做「5+2、白+黑、夜總會」,解釋一下就是一周工作 7 天、白天和晚上都工作、晚上總是開會,總結一下就是又忙又累。

另外一個熱點就是貿易戰,有人說「華為、海康必有一戰」沒有想到的卻是貿易戰,AI 智道並沒有去蹭這個熱點話題,去寫點文章吸引一下關注或訪問量,不過天天要看這些相關的文章,實在是太多了花費了不少的時間去瞭解,不看也不行。故而耽誤了碼文字的時間,導致 AI 智道遲遲不能更新,畢竟我碼文字有兩個原則:

如果你看了小編的文章,覺得沒有價值那就是浪費你的時間;

如果我寫的文章訪問量不大,那就是浪費小編的時間。

貿易戰中兴、华为、海康、大华都牽涉其中,這些都是大企業,差不多都在建設自己的生態圈(合作夥伴),不過個人建議大企業還是要給廣大的中小企業留一條路,超高的成長率(明顯高於市場平均成長率)在市場總量不變的情況下,差不多就是從別人的地盤裡搶糧食,當然這是市場法則,也無可厚非。


01.jpg
巴楚胡

說起貿易戰,小編就想起了一種植物,新疆有一總樹名叫胡楊,胡楊有三個特點,我記得當地人給我介紹過,「生而千年不死、死而千年不倒、倒而千年不朽」,希望對岸中國的領頭羊企業能夠擁有胡楊的特質。

前言
當安控不再是安控,AI 不再是 AI 的時候,二者的邊界模糊了。小編陷入了深思,到底安控行業的發展趨勢是什麼?

經過 3 個多月(自春節以來),小編拜訪了大量的客戶、合作夥伴、產品供應商,發現 AI 賦能安防的未來2大發展趨勢:

3D人臉辨識
非人臉辨識

對岸中國有 4 家 AI 獨角獸企業(云从、依图、旷视、商汤,都以人臉辨識技術起步,並名揚天下,據小編的瞭解均是基於 2D 圖像( RGB 攝影機)的人臉辨識,當人臉庫是 2D 圖像時,用 2D 技術自然是沒有問題的,但是當需要金融級支付技術的時候,就需要唯一性和準確性,並能防欺騙,2D 技術無法完美解決活體辨識,故而人臉辨識的發展,逐步從 2D 走向 3D 辨識,這是趨勢之一。

人臉辨識技術存在著天然的適用場景,比如人證合一比對(身份證實名認證)、人臉門禁系統、人臉考勤系統等場景,這些都是基於人臉,故而存在市場剛需。

除此之外,因為存在隱私保護和數據安全的雙重要素,世界範圍內,對是否採用人臉辨識技術,用於影像監控尚存在較大的爭議和分歧,比如前段時間就發生了「經過三個多月的議會討論,最終 8:1 投票通過,禁止舊金山的政府機構使用人臉辨識技術」,而電腦視覺技術的發展,足以達到商用的程度,如果不能人臉辨識,剩下的自然就是非人臉辨識,可以是人體特徵辨識、車牌辨識、物體辨識、行為辨識等其它形式。這也是一種趨勢。

大勢所趨
如果 3D 人臉辨識和非人臉辨識兩大趨勢成立,那麼如何實現 3D 人臉辨識和非人臉辨識,就是擺在 AI 企業面前的兩個技術問題,這正是本篇文章小編要為大家介紹的「深度攝影機技術」。寫文章要有深度,做 AI 同樣需要有深度,深度可以全資訊刻畫一個目標對象,透過現象看本質。

深度攝影機的分類下圖所示:

02.jpg
深度攝影機的分類

目前市面上主流的人臉門禁系統,活體檢測採用的就是雙目攝影機,結構光攝影機主要應用手機(典型代表 iPhone X)和人臉門禁系統(尚未普及),ToF 還是一項新技術,主要用於物體測距。接下來小編就帶大家領略一下這 4 大技術。

雙目攝影技術(Stereo System)
由兩個單目攝影機組成(兩個攝影機之間的距離叫「基線」是已知的),透過這個基線,來估計每個像素的空間位置,來測量物體與我們之間的距離,克服單目攝影機無法知道距離的缺點。雙目相機測量到的深度範圍和基線有關,基線距離越大,能夠測量到的就越遠。

優點:可用於室內也可用於室外。

缺點:配置與標定較為複雜,其深度和精度,受雙目的基線或者解析度所限,並且視差的計算,非常消耗電腦運算資源,在現有的條件下,計算量是雙目的主要問題之一。

03.jpg
雙目立體視覺中空間點三維重建(來源:沈子恒)


04.jpg
平視雙目立體成像原理圖(來源:沈子恒)



平視雙目立體成像原理圖,兩攝影機的投影中心連線的距離,即基線距離B。兩攝影機在同一時刻,觀看時空物體的同一特徵點 P,分別在「左眼」和「右眼」上獲取了點 P 的圖像,他們的座標分別為Pleft=(Xleft,Yleft);Pright=(Xright,Yright)。將定兩攝影機的圖像在同一平面上,則特徵點 P 的圖像座標的Y座標一定是相同的,即Yleft = Yright =Y。由三角幾何關係,可以得到如下關係式:

05.jpg



視差為:Disparity=Xleft-Xright.由此可以計算出

特徵點P在攝影機座標系下的三維坐標: 


06.jpg


因此,左攝影機影像面上的任意一點,只要能在右攝影機影像面上,找到對應的匹配點,就完全可以確定該點的 3D 座標。這種方法是點對點的運算,像平面上所有點,只要存在相應的匹配點,就可以參與上述運算,從而獲取對應的 3D 座標。

目前市面上主流的活體檢測和防偽解決方案,主要是採用雙目攝影技術,相比較結構光和 ToF 方案,價格更加低廉,模組也比較成熟。


07.jpg
EP36WDLDIR雙目攝影模組(圖片來源:视派尔


典型代表:深圳视派尔公司的 EP36WDLDIR雙目攝影模組

低功耗 USB CAM,支持高清攝影機功能,支撐 WDR,強光抑制,暗光補償,人像優化,場景優化。

主要產品特性
1/2.7E"工業級 200 萬高清圖像感測器

RGB: 寬動態 115DB

IR:80DB適合複雜的光線環境

0.01Lux(F=1.2)超低照效果

功耗 3.0 W

相容 Windows、Linux、MAC 多種系統


08.jpg
深圳视派尔系列產品(紐豪斯拍攝


09.jpg
雙目成像效果(紐豪斯拍攝



3D 結構光技術
雙目攝影機具備一定的深度探測功能,有一定的深度,但屬於被動方式。真正意義上的 3D 成像,當屬於主動光源的 3D 結構光技術,採用的是結構光法。

結構光法 (Structured Light),透過向表面光滑無特徵的物體,發射具有特徵點的光線,依據光源中的立體資訊,輔助提取物體的深度資訊。具體的過程包括兩個步驟,首先利用雷射投影機,向目標物體投射可編碼的光束,生成特徵點;然後根據投射模式與投射光的幾何圖案,透過三角測量原理,計算攝影機光心,與特徵點之間的距離,由此便可獲取生成特徵點的深度資訊,實現模型重建。

這種可編碼的光束就是結構光,包括各種特定樣式的點、線、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。

因為實現簡單且精度較高,所以結構光法的應用非常廣泛,目前已有多家公司,生產了以結構光技術為基礎的硬體設備,如 Prime Sense 公司的 Prime Sensor、微軟公司的 Kinect 和華碩公司的 Xtion PRO LIVE 等產品。

10.jpg
結構光三維視覺原理圖(來源於網絡)

深度圖效果:結構光 vs. 雙目攝影
下圖左是普通雙目立體視覺深度攝影機,拍攝的圖像,和對應的深度圖結果;下圖右是結構光法的深度攝影機投射的圖案,及對應的深度圖結果,明顯可以觀察到在同樣的場景下,結構光法得到的深度圖更完整,細節更豐富,效果大大好於雙目立體視覺法。

11.jpg
左:RGB Stereo,右:Structureed light(來源:計算機視覺life)


結構光法不依賴於物體本身的顏色和紋理,採用了主動投影已知圖案的方法,來實現快速加強的匹配特徵點,能夠達到較高的精度,也大大擴展了適用範圍。

結構光法投射的圖案,需要進行精心設計和編碼,結構光編碼的方式有很多種,一般分為如下幾大類:

1.直接編碼(Direct coding)
根據圖像灰度或者顏色訊編碼,需要很寬的光譜範圍。

優勢:對所有點都進行了編碼,理論上可以達到較高的解析度。

缺點:受環境噪音影響較大,測量精度較差。


12.jpg
Direct coding(來源:計算機視覺life)



2.時分複用編碼(Time multiplexing coding)
該技術方案需要投影 N 個連續序列的不同編碼光,接收端根據接收到 N 個連續的序列圖像,來每個辨識每個編碼點。投射的編碼光有二進制碼(最常用)、N進制碼、灰度 + 相移等方案。

該方案的優點:測量精度很高(最高可達微米級);可得到較高解析度深度圖(因為有大量的 3D 投影點);受物體本身顏色影響很小(採用二進制編碼)。

缺點:比較適合靜態場景,不適用於動態場景;計算量較大(因為辨識一個編碼點,需要計算連續 N 次投影)。

13.jpg
Time multiplexing coding(來源:計算機視覺life)




3.空分複用編碼(Spatial multiplexing coding)
根據周圍鄰域內的一個窗口內,所有的點的分布來辨識編碼。

該技術的優勢:適用於運動物體。

缺點:不連續的物體表面,可能產生錯誤的窗口解碼(因為遮擋)。


14.jpg


Spatial multiplexing coding(來源:計算機視覺life)


最早結構光方案就是以色列 PrimeSense 公司的 Light Coding 的技術,該方案最早被應用於 Microsoft 的明星產品 Kinect1(Kinect2 是基於 TOF 的技術)上。後被蘋果收購,iPhone X 利用的就是該公司的結構光技術。

結構光雖然說相較雙目攝影機有很大的提升,但依然存在一定的優缺點。

優點:
由於結構光主動投射編碼光源,因而非常適合在光照不足(甚至無光,尤其是夜間)、缺乏紋理的場景使用。

結構光投影圖案一般經過精心設計,所以在一定範圍內,可以達到較高的測量精度。

技術成熟,相比較雙目攝影深度圖像,可以做到相對較高的解析度。

缺點:
室外環境基本不能使用。這是因為在室外容易受到強自然光(超過2000Lux)影響,導致投射的編碼光被淹沒。

測量距離較近。物體距離攝影機越遠,物體上的投影圖案越大,精度也越差,相對應的測量精度也越差。所以基於結構光的深度攝影機測量精度,隨著距離的增大而大幅降低。因而,往往在近距離場景中應用較多。

容易受到光滑平面反光的影響。

3D 結構光技術在 iPhone 的帶領下,在手機領域得到廣泛的應用,目前最新的人臉支付系統的硬體,多採用 3D 結構光,比如支付寶和奧比中光合作、騰訊和華捷艾米合作。

根據媒體早前報導:2019年4月17日,支付寶在北京發佈了第二代刷臉支付設備——「蜻蜓 2.0」,與 1.0 版本相比,「蜻蜓 2.0」主要有兩點提升:一是不用再輸手機號,可以單純靠刷臉完成支付;二是首次接入了刷臉即會員的數位化經營能力。

小編在前文說過,3D人臉辨識將會是未來的一個趨勢,那麼這個趨勢中,最佳的 3D 臉辨識模式將會是3D結構光,可有效的解決 2D 的人臉防偽問題,更可以很好的解決人臉的唯一性。3D 結構光的 3D 人臉應用中,最大缺陷是相比較2D,系統缺乏 3D 人臉的底庫,需要一個一個的採集後,才能夠形成 3D 人臉庫,而不像 2D 人臉庫標準的身份證大庫中就有,不需要額外採集,不過這方面的卢深视已經走在最前面。

3D 結構光典型代表:奧比中光
深圳奥比中光於2013年1月份成立,是一家集研發、生產、銷售為一體的 3D 感測技術高科技企業;作為對岸中國領先的 3D 感測方案提供商,是繼蘋果、微軟、英特爾之後,第四家(對岸中國第一且唯一)能夠量產消費級 3D 結構光感測器的公司。

奧比中光 3D 結構光深度攝影機,是基於 3D 結構光技術所設計的一種高精度、低功耗的 3D 攝影機,可為智慧終端加上了物體感知功能,從而引入多個「痛點型應用場景」,包括人臉辨識、活體檢測、人機交互、人流統計、 3D 建模、AR、安控和輔助駕駛等,讓所有終端都能看懂世界。

3D 結構光深度攝影機,可實現即時 3D 資訊採集,為這些應用功能,提供必要的且高品質的 3D 數據,從而大大提高了應用功能的安全性、可靠性等各項性能。


15.jpg
ASTRA產品圖片(來源:奧比中光) 


16.jpg
ASTRA Pro拆分圖(來源:奧比中光)


17.jpg
ASTRA Pro 結構圖(來源:奧比中光)



3D 結構光產品可廣泛應用於 3D人臉辨識/3D 表情辨識,包括 3D 刷臉支付、3D 人臉門禁、3D 動畫表情等;也可以用於 3D 點雲(彩色圖/深度圖),包括 3D 物體尺寸測量、機器人 Slam、3D 試衣服、距離測量等;還可以用於人體骨骼辨識和跟蹤、行為分析,應用場景包括娛樂、保全監控、客流分析等。

3D 結構光典型代表:华捷艾米
北京华捷艾米成立於 2014 年,專注於電腦 3D 視覺、人機智慧交互,及 3D MR 混合現實技術。擁有核心知識產權的 3D 視覺,及 MR 解決方案的人工智慧企業,打破蘋果、微軟的技術壟斷。

提供包含「3D 攝影機、3D 攝影機模組、3D AI/MR 晶片、3D AI/MR 算法體系、開發工具包等」在內的一站式企業級解決方案。在人臉支付領域和騰訊達成策略合作。

在智慧零售領域,华捷基於 3D 機器視覺,及MR人工智慧技術,達到顧客購物的全程身份辨識、行為監控、記錄、分析及智慧支付,並提供客戶消費行為全程雲平台大數據。

典型應用包括 3D 刷臉支付、客流統計;在智慧家庭領域,华捷基於人體行為辨識,和 MR 人工智慧技術達到精準、自然人機交互。

典型應用包括人臉門禁系統;在智慧安控領域,華捷艾米利用自有硬體和算法,利用當前先進的深度識別算法,通過 3D 檢測技術,獲取人流數據。當所監控的人流數量達到設定的閥值或出現異常行為時,自動啓動預警方案。

华捷艾米的主要產品,集中在以下幾個方面:

3D 攝影機。3D 骨架辨識、3D 智慧 SLAM、3D 手勢辨識、3D人臉辨識等多種算法。 

3D AI/MR 晶片。面向消費電子、智慧安控、智慧物流等 AIOT 領域的 3D Sensor 專用晶片,產品搭載了捷艾米第四代深度測量引擎,晶片大小只有 5*5 ㎜,產品功耗 100 毫瓦(mw),解決了行業通用晶片功耗高、效率低等諸多弊端。 

3D 攝影機模組。基於業界領先的設計能力,华捷艾米 3D 光學模組產品,可用於單目結構光、主動雙目等 3D 測量方案,並提供不同功率、不同尺寸、不同視場角的,適用於室內和戶外場景的系列化產品。 

SDK。华捷艾米 SDK 是一個多語言跨平台的 AR/MR 應用開發套件。 


18.jpg
核心技術(來源:华捷米)



代表產品:A200 + mini 模組

19.jpg
A200 + min結構圖源:华捷米)

捷艾米A200+mini自主研發的,高清智慧小型化超薄 3D 攝影機產品 ,基於散斑結構光原理設計,搭載捷艾米最新 ASIC 晶片,能快速準確獲取目標的深度資訊,可適用於近距離 (0.28 ~1m )人臉辨識、深度數據採集,立體與平面判斷等。應用於近距離物體辨識場景 ,如智慧零售行業的人臉支付 、火車站的人證核驗等。

3D 結構光典型代表:北京的卢深视
一般的人不大瞭解這問北京的卢深视,如果是長期從事公安人臉解決方案的同行,可能就聽說過,尤其是他們的產品已經在安檢、邊檢方面取得大量應用成果,擁有大容量的 3D 人臉庫建模和訓練經驗。

北京的卢深视是一家專注 3D 機器視覺,和人工智慧領域的高新技術企業,成立於 2015 年 8月,總部位於北京,在杭州、合肥兩地設有研發中心,在結構光深度感知、 3D 即時高精度重建、三維跟蹤識別及感知等技術方向上處於領先地位。

的卢深视以「真」 3D 人臉辨識技術為依託,區別於常見的「二維辨識 +  3D 防作偽」產品,以技術創新引領業界標準,其 3D 人臉辨識技術水準,遠超其他辨識手段。關鍵是擁有百萬級 3D 人員資料庫高準確度辨識經驗,千萬級以上大資料庫也有實操經驗。

據媒體公開報導:的卢深视在結構光深度感知、 3D 即時高精度重建、 3D 跟蹤辨識,及感知等技術方向上,實現了技術領先。佈局了自己的「雲端芯」的產品策略,發佈了哨兵、天眼、鷹眼、火眼、冰鑒五個產品系列。

的卢深视的產品線主要包括:

三維智能人臉開發套件

205.jpg
3D 人臉開發套件(來源:的卢深视


整合了 3D/2D人臉辨識功能、3D人臉建模功能、活體檢測功能於一體的人工智慧開發平台。

採用散斑結構光技術,來獲取準確的 3D人臉數據,內嵌高性能硬體處理平台,和強大的人工智慧處理算法,具有高擴展性和整合度,滿足多樣化行行業需求。

嵌入式 3D 人臉驗證一體機/閘機終端/門禁終端

21.jpg
3D人臉終端的卢深视

一款整合了 3D 高清攝影機、具備 3D 人像採集功能的人證通類產品。該類設備能夠提取,現場持證人的 3D 人像和身份證照片,進行1:1 比對,完成身份核驗。

基於深度學習算法,辨識速度快、準確率高,基於 3D 人像的防作偽能力,比 2D 攝影機更高,它能夠利用 3D 人臉特徵的唯一性,進行精准 3D  辨識,解決人員忘帶證件無法通行、冒用他人證件非法通行等問題。

的卢深视 3D 人臉驗證閘機終端,採用基於自研的深度學習 3D 人臉辨識智慧算法,具有先進、高效、安全等優點,適用於閘機廠家、系統整合商和設備廠商。

這大概是作者所知的,唯一大規模商用的 3D 結構光人臉終端機。

「天眼」高清 3D 網路攝影機
MN100/200 是在出入口通道,用於動態採集 2D 影像,及 3D 深度資訊,並透過網路編碼,傳輸的高清 3D 網路攝影機。

「天眼」三維人臉智慧盒子
配合「天眼」高清 3D 網路攝影機,實現 3D 人臉檢測、跟蹤、抓拍、辨識,以及屬性分析的軟硬一體的計算模組。它採用了嵌入式操作系統,和高性能硬體處理平台,具有較高的穩定性和可靠性。

哨兵系列: 一次通行、多維採集、關聯碰撞、全面預警

22.jpg
哨兵系列(來源:的盧深視

這兩款哨兵系列已經得到大規模的應用。擁有多種功能,一次性可以採集多維數據,包括人、碼、證的資訊。


http://www.arcran.com/tw/