3S Market deliver Smart and Valuable information for Business
3S Market 傳遞 智慧應用與價值的商業資訊
Facial recognition could revolutionize public transportation
2019年6月17日 星期一
．3D 人臉辨識攝影機和結構光 (上) —— AI 安控應用深度報導
3D Sensing Technology With 10X More Sensor Points Than Apple's Face ID
一文看盡雙目攝影、結構光、ToF 和雷射雷達技術；一文深入瞭解奥比中光、华捷艾米、的卢深视、Pico 和镭神智能；2大趨勢、2大核心技術。
開篇
最近小編深感疲憊，主要是 2 個熱點話題給鬧的。一個是「996」，前段時間引起了熱烈的討論，一周工作 6 天，每天工作 12 個小時，如果禮拜天做工一天，基本上就沒有什麼休息時間了，當然我也聽說個一個工作方式，叫做「5+2、白+黑、夜總會」，解釋一下就是一周工作 7 天、白天和晚上都工作、晚上總是開會，總結一下就是又忙又累。
另外一個熱點就是貿易戰，有人說「華為、海康必有一戰」沒有想到的卻是貿易戰，AI 智道並沒有去蹭這個熱點話題，去寫點文章吸引一下關注或訪問量，不過天天要看這些相關的文章，實在是太多了花費了不少的時間去瞭解，不看也不行。故而耽誤了碼文字的時間，導致 AI 智道遲遲不能更新，畢竟我碼文字有兩個原則：
如果你看了小編的文章，覺得沒有價值那就是浪費你的時間；
如果我寫的文章訪問量不大，那就是浪費小編的時間。
貿易戰中兴、华为、海康、大华都牽涉其中，這些都是大企業，差不多都在建設自己的生態圈（合作夥伴），不過個人建議大企業還是要給廣大的中小企業留一條路，超高的成長率（明顯高於市場平均成長率）在市場總量不變的情況下，差不多就是從別人的地盤裡搶糧食，當然這是市場法則，也無可厚非。
 |
| 巴楚胡楊 |
說起貿易戰，小編就想起了一種植物，新疆有一總樹名叫胡楊，胡楊有三個特點，我記得當地人給我介紹過，「生而千年不死、死而千年不倒、倒而千年不朽」，希望對岸中國的領頭羊企業能夠擁有胡楊的特質。
前言
當安控不再是安控，AI 不再是 AI 的時候，二者的邊界模糊了。小編陷入了深思，到底安控行業的發展趨勢是什麼？
經過 3 個多月（自春節以來），小編拜訪了大量的客戶、合作夥伴、產品供應商，發現 AI 賦能安防的未來2大發展趨勢：
3D人臉辨識
非人臉辨識
對岸中國有 4 家 AI 獨角獸企業（云从、依图、旷视、商汤），都以人臉辨識技術起步，並名揚天下，據小編的瞭解均是基於 2D 圖像（ RGB 攝影機）的人臉辨識，當人臉庫是 2D 圖像時，用 2D 技術自然是沒有問題的，但是當需要金融級支付技術的時候，就需要唯一性和準確性，並能防欺騙，2D 技術無法完美解決活體辨識，故而人臉辨識的發展，逐步從 2D 走向 3D 辨識，這是趨勢之一。
人臉辨識技術存在著天然的適用場景，比如人證合一比對（身份證實名認證）、人臉門禁系統、人臉考勤系統等場景，這些都是基於人臉，故而存在市場剛需。
除此之外，因為存在隱私保護和數據安全的雙重要素，世界範圍內，對是否採用人臉辨識技術，用於影像監控尚存在較大的爭議和分歧，比如前段時間就發生了「經過三個多月的議會討論，最終 8:1 投票通過，禁止舊金山的政府機構使用人臉辨識技術」，而電腦視覺技術的發展，足以達到商用的程度，如果不能人臉辨識，剩下的自然就是非人臉辨識，可以是人體特徵辨識、車牌辨識、物體辨識、行為辨識等其它形式。這也是一種趨勢。
大勢所趨
如果 3D 人臉辨識和非人臉辨識兩大趨勢成立，那麼如何實現 3D 人臉辨識和非人臉辨識，就是擺在 AI 企業面前的兩個技術問題，這正是本篇文章小編要為大家介紹的「深度攝影機技術」。寫文章要有深度，做 AI 同樣需要有深度，深度可以全資訊刻畫一個目標對象，透過現象看本質。
深度攝影機的分類下圖所示：
 |
深度攝影機的分類
|
目前市面上主流的人臉門禁系統，活體檢測採用的就是雙目攝影機，結構光攝影機主要應用手機（典型代表 iPhone X）和人臉門禁系統（尚未普及），ToF 還是一項新技術，主要用於物體測距。接下來小編就帶大家領略一下這 4 大技術。
雙目攝影技術（Stereo System）
由兩個單目攝影機組成（兩個攝影機之間的距離叫「基線」是已知的），透過這個基線，來估計每個像素的空間位置，來測量物體與我們之間的距離，克服單目攝影機無法知道距離的缺點。雙目相機測量到的深度範圍和基線有關，基線距離越大，能夠測量到的就越遠。
優點：可用於室內也可用於室外。
缺點：配置與標定較為複雜，其深度和精度，受雙目的基線或者解析度所限，並且視差的計算，非常消耗電腦運算資源，在現有的條件下，計算量是雙目的主要問題之一。
 | |
|
 |
| 平視雙目立體成像原理圖（來源：沈子恒） |
平視雙目立體成像原理圖，兩攝影機的投影中心連線的距離，即基線距離B。兩攝影機在同一時刻，觀看時空物體的同一特徵點 P，分別在「左眼」和「右眼」上獲取了點 P 的圖像，他們的座標分別為Pleft=（Xleft,Yleft）；Pright=（Xright,Yright）。將定兩攝影機的圖像在同一平面上，則特徵點 P 的圖像座標的Y座標一定是相同的，即Yleft = Yright =Y。由三角幾何關係，可以得到如下關係式：
視差為：Disparity=Xleft-Xright.由此可以計算出
特徵點P在攝影機座標系下的三維坐標：
因此，左攝影機影像面上的任意一點，只要能在右攝影機影像面上，找到對應的匹配點，就完全可以確定該點的 3D 座標。這種方法是點對點的運算，像平面上所有點，只要存在相應的匹配點，就可以參與上述運算，從而獲取對應的 3D 座標。
目前市面上主流的活體檢測和防偽解決方案，主要是採用雙目攝影技術，相比較結構光和 ToF 方案，價格更加低廉，模組也比較成熟。
 |
| EP36WDLDIR雙目攝影模組（圖片來源：视派尔） |
典型代表：深圳视派尔公司的 EP36WDLDIR雙目攝影模組
低功耗 USB CAM，支持高清攝影機功能，支撐 WDR，強光抑制，暗光補償，人像優化，場景優化。
主要產品特性
1/2.7E"工業級 200 萬高清圖像感測器
RGB: 寬動態 115DB
IR：80DB適合複雜的光線環境
0.01Lux(F=1.2)超低照效果
功耗 3.0 W
相容 Windows、Linux、MAC 多種系統
 |
| 深圳视派尔系列產品（紐豪斯拍攝） |
 |
| 雙目成像效果（紐豪斯拍攝） |
3D 結構光技術
雙目攝影機具備一定的深度探測功能，有一定的深度，但屬於被動方式。真正意義上的 3D 成像，當屬於主動光源的 3D 結構光技術，採用的是結構光法。
結構光法 (Structured Light)，透過向表面光滑無特徵的物體，發射具有特徵點的光線，依據光源中的立體資訊，輔助提取物體的深度資訊。具體的過程包括兩個步驟，首先利用雷射投影機，向目標物體投射可編碼的光束，生成特徵點；然後根據投射模式與投射光的幾何圖案，透過三角測量原理，計算攝影機光心，與特徵點之間的距離，由此便可獲取生成特徵點的深度資訊，實現模型重建。
這種可編碼的光束就是結構光，包括各種特定樣式的點、線、面等圖案。結構光法解決了物體表面平坦、紋理單一、灰度變化緩慢等問題。
因為實現簡單且精度較高，所以結構光法的應用非常廣泛，目前已有多家公司，生產了以結構光技術為基礎的硬體設備，如 Prime Sense 公司的 Prime Sensor、微軟公司的 Kinect 和華碩公司的 Xtion PRO LIVE 等產品。
結構光三維視覺原理圖（來源於網絡）
深度圖效果：結構光 vs. 雙目攝影
下圖左是普通雙目立體視覺深度攝影機，拍攝的圖像，和對應的深度圖結果；下圖右是結構光法的深度攝影機投射的圖案，及對應的深度圖結果，明顯可以觀察到在同樣的場景下，結構光法得到的深度圖更完整，細節更豐富，效果大大好於雙目立體視覺法。
左：RGB Stereo，右：Structureed light（來源：計算機視覺life）
結構光法不依賴於物體本身的顏色和紋理，採用了主動投影已知圖案的方法，來實現快速加強的匹配特徵點，能夠達到較高的精度，也大大擴展了適用範圍。
結構光法投射的圖案，需要進行精心設計和編碼，結構光編碼的方式有很多種，一般分為如下幾大類：
1.直接編碼（Direct coding）
根據圖像灰度或者顏色訊編碼，需要很寬的光譜範圍。
優勢：對所有點都進行了編碼，理論上可以達到較高的解析度。
缺點：受環境噪音影響較大，測量精度較差。
 |
| Direct coding（來源：計算機視覺life） |
2.時分複用編碼（Time multiplexing coding）
該技術方案需要投影 N 個連續序列的不同編碼光，接收端根據接收到 N 個連續的序列圖像，來每個辨識每個編碼點。投射的編碼光有二進制碼（最常用）、N進制碼、灰度 + 相移等方案。
該方案的優點：測量精度很高（最高可達微米級）；可得到較高解析度深度圖（因為有大量的 3D 投影點）；受物體本身顏色影響很小（採用二進制編碼）。
缺點：比較適合靜態場景，不適用於動態場景；計算量較大（因為辨識一個編碼點，需要計算連續 N 次投影）。
 |
| Time multiplexing coding（來源：計算機視覺life） |
3.空分複用編碼（Spatial multiplexing coding）
根據周圍鄰域內的一個窗口內，所有的點的分布來辨識編碼。
該技術的優勢：適用於運動物體。
缺點：不連續的物體表面，可能產生錯誤的窗口解碼（因為遮擋）。
Spatial multiplexing coding（來源：計算機視覺life）
最早結構光方案就是以色列 PrimeSense 公司的 Light Coding 的技術，該方案最早被應用於 Microsoft 的明星產品 Kinect1（Kinect2 是基於 TOF 的技術）上。後被蘋果收購，iPhone X 利用的就是該公司的結構光技術。
結構光雖然說相較雙目攝影機有很大的提升，但依然存在一定的優缺點。
優點：
由於結構光主動投射編碼光源，因而非常適合在光照不足（甚至無光，尤其是夜間）、缺乏紋理的場景使用。
結構光投影圖案一般經過精心設計，所以在一定範圍內，可以達到較高的測量精度。
技術成熟，相比較雙目攝影深度圖像，可以做到相對較高的解析度。
缺點：
室外環境基本不能使用。這是因為在室外容易受到強自然光（超過2000Lux）影響，導致投射的編碼光被淹沒。
測量距離較近。物體距離攝影機越遠，物體上的投影圖案越大，精度也越差，相對應的測量精度也越差。所以基於結構光的深度攝影機測量精度，隨著距離的增大而大幅降低。因而，往往在近距離場景中應用較多。
容易受到光滑平面反光的影響。
3D 結構光技術在 iPhone 的帶領下，在手機領域得到廣泛的應用，目前最新的人臉支付系統的硬體，多採用 3D 結構光，比如支付寶和奧比中光合作、騰訊和華捷艾米合作。
根據媒體早前報導：2019年4月17日，支付寶在北京發佈了第二代刷臉支付設備——「蜻蜓 2.0」，與 1.0 版本相比，「蜻蜓 2.0」主要有兩點提升：一是不用再輸手機號，可以單純靠刷臉完成支付；二是首次接入了刷臉即會員的數位化經營能力。
小編在前文說過，3D人臉辨識將會是未來的一個趨勢，那麼這個趨勢中，最佳的 3D 臉辨識模式將會是3D結構光，可有效的解決 2D 的人臉防偽問題，更可以很好的解決人臉的唯一性。3D 結構光的 3D 人臉應用中，最大缺陷是相比較2D，系統缺乏 3D 人臉的底庫，需要一個一個的採集後，才能夠形成 3D 人臉庫，而不像 2D 人臉庫標準的身份證大庫中就有，不需要額外採集，不過這方面的卢深视已經走在最前面。
3D 結構光典型代表：奧比中光
深圳奥比中光於2013年1月份成立，是一家集研發、生產、銷售為一體的 3D 感測技術高科技企業；作為對岸中國領先的 3D 感測方案提供商，是繼蘋果、微軟、英特爾之後，第四家（對岸中國第一且唯一）能夠量產消費級 3D 結構光感測器的公司。
奧比中光 3D 結構光深度攝影機，是基於 3D 結構光技術所設計的一種高精度、低功耗的 3D 攝影機，可為智慧終端加上了物體感知功能，從而引入多個「痛點型應用場景」，包括人臉辨識、活體檢測、人機交互、人流統計、 3D 建模、AR、安控和輔助駕駛等，讓所有終端都能看懂世界。
3D 結構光深度攝影機，可實現即時 3D 資訊採集，為這些應用功能，提供必要的且高品質的 3D 數據，從而大大提高了應用功能的安全性、可靠性等各項性能。
ASTRA產品圖片（來源：奧比中光）
ASTRA Pro拆分圖（來源：奧比中光）
ASTRA Pro 結構圖（來源：奧比中光）
3D 結構光產品可廣泛應用於 3D人臉辨識/3D 表情辨識，包括 3D 刷臉支付、3D 人臉門禁、3D 動畫表情等；也可以用於 3D 點雲（彩色圖/深度圖），包括 3D 物體尺寸測量、機器人 Slam、3D 試衣服、距離測量等；還可以用於人體骨骼辨識和跟蹤、行為分析，應用場景包括娛樂、保全監控、客流分析等。
3D 結構光典型代表：华捷艾米
北京华捷艾米成立於 2014 年，專注於電腦 3D 視覺、人機智慧交互，及 3D MR 混合現實技術。擁有核心知識產權的 3D 視覺，及 MR 解決方案的人工智慧企業，打破蘋果、微軟的技術壟斷。
提供包含「3D 攝影機、3D 攝影機模組、3D AI/MR 晶片、3D AI/MR 算法體系、開發工具包等」在內的一站式企業級解決方案。在人臉支付領域和騰訊達成策略合作。
在智慧零售領域，华捷基於 3D 機器視覺，及MR人工智慧技術，達到顧客購物的全程身份辨識、行為監控、記錄、分析及智慧支付，並提供客戶消費行為全程雲平台大數據。
典型應用包括 3D 刷臉支付、客流統計；在智慧家庭領域，华捷基於人體行為辨識，和 MR 人工智慧技術達到精準、自然人機交互。
典型應用包括人臉門禁系統；在智慧安控領域，華捷艾米利用自有硬體和算法，利用當前先進的深度識別算法，通過 3D 檢測技術，獲取人流數據。當所監控的人流數量達到設定的閥值或出現異常行為時，自動啓動預警方案。
华捷艾米的主要產品，集中在以下幾個方面：
3D 攝影機。3D 骨架辨識、3D 智慧 SLAM、3D 手勢辨識、3D人臉辨識等多種算法。
3D AI/MR 晶片。面向消費電子、智慧安控、智慧物流等 AIOT 領域的 3D Sensor 專用晶片，產品搭載了华捷艾米第四代深度測量引擎，晶片大小只有 5*5 ㎜，產品功耗 100 毫瓦（mw），解決了行業通用晶片功耗高、效率低等諸多弊端。
3D 攝影機模組。基於業界領先的設計能力，华捷艾米 3D 光學模組產品，可用於單目結構光、主動雙目等 3D 測量方案，並提供不同功率、不同尺寸、不同視場角的，適用於室內和戶外場景的系列化產品。
SDK。华捷艾米 SDK 是一個多語言跨平台的 AR/MR 應用開發套件。
核心技術（來源：华捷艾米）
代表產品：A200 + mini 模組
 | |
|
华捷艾米A200+mini自主研發的，高清智慧小型化超薄 3D 攝影機產品 ，基於散斑結構光原理設計，搭載华捷艾米最新 ASIC 晶片，能快速準確獲取目標的深度資訊，可適用於近距離 （0.28 ~1m ）人臉辨識、深度數據採集，立體與平面判斷等。應用於近距離物體辨識場景 ，如智慧零售行業的人臉支付 、火車站的人證核驗等。
3D 結構光典型代表：北京的卢深视
一般的人不大瞭解這問北京的卢深视，如果是長期從事公安人臉解決方案的同行，可能就聽說過，尤其是他們的產品已經在安檢、邊檢方面取得大量應用成果，擁有大容量的 3D 人臉庫建模和訓練經驗。
北京的卢深视是一家專注 3D 機器視覺，和人工智慧領域的高新技術企業，成立於 2015 年 8月，總部位於北京，在杭州、合肥兩地設有研發中心，在結構光深度感知、 3D 即時高精度重建、三維跟蹤識別及感知等技術方向上處於領先地位。
的卢深视以「真」 3D 人臉辨識技術為依託，區別於常見的「二維辨識 + 3D 防作偽」產品，以技術創新引領業界標準，其 3D 人臉辨識技術水準，遠超其他辨識手段。關鍵是擁有百萬級 3D 人員資料庫高準確度辨識經驗，千萬級以上大資料庫也有實操經驗。
據媒體公開報導：的卢深视在結構光深度感知、 3D 即時高精度重建、 3D 跟蹤辨識，及感知等技術方向上，實現了技術領先。佈局了自己的「雲端芯」的產品策略，發佈了哨兵、天眼、鷹眼、火眼、冰鑒五個產品系列。
的卢深视的產品線主要包括：
三維智能人臉開發套件
 | ||
| 3D 人臉開發套件（來源：的卢深视） |
整合了 3D/2D人臉辨識功能、3D人臉建模功能、活體檢測功能於一體的人工智慧開發平台。
採用散斑結構光技術，來獲取準確的 3D人臉數據，內嵌高性能硬體處理平台，和強大的人工智慧處理算法，具有高擴展性和整合度，滿足多樣化行行業需求。
嵌入式 3D 人臉驗證一體機/閘機終端/門禁終端
 |
| 3D人臉終端（的卢深视） |
一款整合了 3D 高清攝影機、具備 3D 人像採集功能的人證通類產品。該類設備能夠提取，現場持證人的 3D 人像和身份證照片，進行1:1 比對，完成身份核驗。
基於深度學習算法，辨識速度快、準確率高，基於 3D 人像的防作偽能力，比 2D 攝影機更高，它能夠利用 3D 人臉特徵的唯一性，進行精准 3D 辨識，解決人員忘帶證件無法通行、冒用他人證件非法通行等問題。
的卢深视 3D 人臉驗證閘機終端，採用基於自研的深度學習 3D 人臉辨識智慧算法，具有先進、高效、安全等優點，適用於閘機廠家、系統整合商和設備廠商。
這大概是作者所知的，唯一大規模商用的 3D 結構光人臉終端機。
「天眼」高清 3D 網路攝影機
MN100/200 是在出入口通道，用於動態採集 2D 影像，及 3D 深度資訊，並透過網路編碼，傳輸的高清 3D 網路攝影機。
「天眼」三維人臉智慧盒子
配合「天眼」高清 3D 網路攝影機，實現 3D 人臉檢測、跟蹤、抓拍、辨識，以及屬性分析的軟硬一體的計算模組。它採用了嵌入式操作系統，和高性能硬體處理平台，具有較高的穩定性和可靠性。
哨兵系列： 一次通行、多維採集、關聯碰撞、全面預警
 |
| 哨兵系列（來源：的盧深視） |
