.一文通曉『人臉辨識』的技術、應用與問題

China's new facial recognition gadget




原文標題:深扒人臉辨識60年技術發展史⋯⋯

來源: 与非网



巡迴演唱會連抓3通緝犯"逃犯克星"張學友这样回应-香港商報


「他來聽我的演唱會,門票換了手銬一對」。最近歌神張學友變阿SIR,演唱會上頻頻抓到罪犯,將人臉辨識技術又一次推到了大眾的視線中。要說人臉辨識技術的爆發,當屬去年9月份蘋果iPhone x的發佈,不再需要指紋,只需要掃描臉部,就可以輕鬆解鎖手機。


任何技術一旦進入智慧手機這個消費市場,尤其是被蘋果這個標誌性的品牌採用,就意味著它將成為一種趨勢,一個智慧設備的標配。

在智慧手機快速崛起的這幾年,其密碼鎖經歷了從數字密碼、手勢解鎖,到指紋辨識的升級,發展到如今的虹膜辨識和人臉辨識。可以預料的是,由於全螢幕的普及和更為安全、便捷的 Face ID 技術的出現,在不久的將來,指紋辨識也將被智慧手機廠商們所拋棄,完成它的歷史使命。

那麼人臉辨識到底是一項怎樣的技術,小編就將帶大家走進人臉辨識,聊聊這項新科技。
人臉辨識是啥玩意兒?
人臉辨識技術,是基於人的臉部特徵資訊,進行身份辨識的一種生物辨識技術。用攝影機採集含有人臉的圖像或視訊流,並自動在圖像中檢測和跟蹤人臉,進而對檢測到的人臉進行臉部的一系列相關技術。

傳統的人臉辨識技術,主要是基於可見光圖像的人臉辨識,這也是人們熟悉的辨識方式。簡單的來說,就是一個讓電腦認出你的過程。

人臉辨識技術主要是,透過人臉圖像特徵的提取與比對,來進行的。人臉辨識系統將提取的人臉圖像的特徵數據,與數據庫中儲存的特徵模板,進行搜索匹配,透過設定一個臨界值,當相似度超過這一臨界值,則把匹配得到的結果輸出。

將待辨識的人臉特徵,與已得到的人臉特徵模板進行比較,根據相似程度對人臉的身份資訊進行判斷。這一過程又分為兩類:一類是確認,是一對一進行圖像比較的過程,另一類是辨認,是一對多進行圖像匹配對比的過程。

廣義的人臉辨識實際包括,構建人臉辨識系統的一系列相關技術,包括人臉圖像採集、人臉定位、人臉辨識預處理、身份確認,以及身份查找等;而狹義的人臉辨識,特指透過人臉進行身份確認,或者身份查找的技術或系統。
人臉辨識技術發展
早在20世紀50年代,認知科學家就已著手對人臉辨識展開研究。20世紀60年代,人臉辨識工程化應用研究正式開啓。當時的方法主要利用了人臉的幾何結構,透過分析人臉器官特徵點,及其之間的拓撲關係進行辨識。這種方法簡單直觀,但是一旦人臉姿態、表情發生變化,則精度嚴重下降。

1991年,著名的「特徵臉」方法,第一次將主成分的分析,和統計特徵技術引入人臉辨識,在實用效果上,取得了長足的進步。這一思路也在後續研究中,得到進一步發揚光大,例如,Belhumer成功將Fisher判別準則應用於人臉分類,提出了基於線性判別分析的Fisherface方法。


由劍橋人臉數據集的特徵分解獲得的前四個特徵向量
21世紀的前十年,隨著機器學習理論的發展,學者們相繼探索出了基於遺傳算法、支持向量機(Support Vector Machine, SVM)、boosting、流形學習,以及核方法等進行人臉辨識。 2009年至2012年,稀疏表達(Sparse Representation)因為其優美的理論和對遮擋因素的魯棒性(或稱強健性,成為當時的研究熱點。

與此同時,業界也基本達成共識:基於人工精心設計的局部描述子進行特徵,提取和子空間方法,進行特徵選擇能夠取得最好的辨識效果。

Gabor及LBP特徵描述子,是迄今為止在人臉辨識領域,最為成功的兩種人工設計局部描述子。這期間,對各種人臉辨識影響因子的針對性處理,也是那一階段的研究熱點,比如人臉光照歸一化、人臉姿態校正、人臉超分辨,以及遮擋處理等。也是在這一階段,研究者的關注點開始,從受限場景下的人臉辨識,轉移到非受限環境下的人臉辨識。

LFW人臉辨識公開競賽,在此背景下開始流行,當時最好的辨識系統,儘管在受限的FRGC測試集上,能取得99%以上的辨識精度,但是在LFW上的最高精度僅僅在80%左右,距離實用看起來距離頗遠。

2013年MSRA的研究者,首度嘗試了10萬規模的大訓練數據,並基於高維LBP特徵,和Joint Bayesian方法,在LFW上獲得了95.17%的精度。這一結果顯示:大訓練數據集,對於有效提升非受限環境下的人臉辨識很重要。然而,以上所有這些經典方法,都難以處理大規模數據集的訓練場景。

2014年前後,隨著大數據和深度學習的發展,神經網路重受矚目,並在圖像分類、手寫體辨識、語音辨識等應用中,獲得了遠超經典方法的結果。


香港中文大學的Sun Yi等人,提出將卷積神經網路,應用到人臉辨識上,採用20萬訓練數據,在LFW上第一次得到超過人類水平的辨識精度,這是人臉辨識發展歷史上的一座里程碑。

表1 人臉辨識經典方法及其在LFW上精度對比
自此之後,研究者們不斷改進網路結構,同時擴大訓練樣本規模,將LFW上的辨識精度推到99.5%以上。

如表1所示,我們給出了人臉辨識發展過程中,一些經典的方法及其在LFW上的精度,一個基本的趨勢是:訓練數據規模越來越大,辨識精度越來越高。


人臉辨識十大關鍵技術
1、人臉檢測(Face Detection)
「人臉檢測(Face Detection)」的作用,就是要檢測出圖像中人臉所在位置。

人臉檢測算法的輸入是一張圖像,輸出是人臉框坐標序列,具體結果是0個人臉框或1個人臉框或多個人臉框。輸出的人臉坐標框,可以為正方形、矩形等。

人臉檢測算法的原理,簡單來說是一個「掃描」加「判定」的過程。即首先在整個圖像範圍內掃描,再逐個判定候選區域,是否是人臉的過程。因此人臉檢測算法的計算速度,會跟圖像尺寸大小,以及圖像內容相關。在實際算法時,我們可以透過設置「輸入圖像尺寸」、或「最小臉尺寸限制」、「人臉數量上限」的方式來加速算法。

舉例說明:綠色矩形框標注的,即為人臉檢測算法檢測到的人臉位置
2、人臉配準(Face Alignment)
「人臉配準(Face Alignment)」所實現的目的,是定位出人臉上五官關鍵點座標。

人臉配準算法的輸入,是「一張人臉圖像」和「人臉坐標框」,輸出是五官關鍵點的座標序列。五官關鍵點的數量,是預先設定好的一個固定數值,常見的有5點、68點、90點等等。

當前效果的較好的一些人臉配準技術,基本透過深度學習框架實現。這些方法都是基於人臉檢測的座標框,按某種事先設定規則,將人臉區域摳取出來,縮放到固定尺寸,然後進行關鍵點位置的計算。另外,相對於人臉檢測,或者是後面將提到的人臉特徵提取的過程,人臉配準算法的計算耗時都要少很多。

舉例說明:輸入圖像以及輸出結果如下,綠色圓點標注出了五官位置。


3、人臉屬性辨識(Face Attribute)
「人臉屬性辨識(Face Attribute)」是辨識出人臉的性別、年齡、姿態、表情等屬性值的一項技術。這在有些相機APP中有所應用,可以自動辨識攝影機視野中人物的性別、年齡等特徵並標注出來。

一般的人臉屬性辨識算法的輸入,是「一張人臉圖」和「人臉五官關鍵點座標」,輸出是人臉相應的屬性值。人臉屬性辨識算法,一般會根據人臉五官關鍵點座標,將人臉對齊,具體過程為旋轉、縮放、摳取等操作後,將人臉調整到預定的大小和形態,以便之後進行屬性分析。

人臉的屬性辨識包括性別辨識、年齡估計、表情辨識、姿態辨識、髮型辨識等等方面。一般來說每種屬性的辨識算法過程是獨立的,但是有一些新型的基於深度學習實現的算法,可以實現同時輸出年齡、性別、姿態、表情等屬性辨識結果。

舉例說明:人臉屬性辨識輸出結果如下
4、人臉提特徵(Face Feature Extraction)
「人臉提特徵(Face Feature Extraction)」是將一張人臉圖像,轉化為可以表徵人臉特點的特徵,具體表現形式為一串固定長度的數值。

人臉提特徵過程的輸入,是 「一張人臉圖」和「人臉五官關鍵點座標」,輸出是人臉相應的一個數值串(特徵)。人臉提特徵算法實現的過程為:首先將五官關鍵點座標進行旋轉、縮放等等操作,來實現人臉對齊,然後在提取特徵並計算出數值串。

舉例說明:人臉特徵提取過程


5、人臉比對(Face Compare)
「人臉比對(Face Compare)」算法實現的目的,是衡量兩個人臉之間相似度。

人臉比對算法的輸入,是兩個人臉特徵人臉特徵,由前面的人臉提特徵算法獲得,輸出是兩個特徵之間的相似度。

舉例說明:人臉對比過程,輸出結果為相似度96%

6、人臉驗證(Face Verification)
「人臉驗證(Face Verification)」是判定兩個人臉圖,是否為同一人的算法。

它的輸入是兩個人臉特徵,透過人臉比對,獲得兩個人臉特徵的相似度,透過與預設的臨界值比較,來驗證這兩個人臉特徵是否屬於同一人。

舉例說明:人臉驗證過程如下,相似度96%大於閾值75%,判定屬於同一個人


7、人臉辨識(Face Recognition)
「人臉辨識(Face Recognition)」是辨識出輸入人臉圖,對應身份的算法。

它的輸入為一個人臉特徵,透過和註冊在庫中N個身份,對應的特徵進行逐個比對,找出「一個」與輸入特徵相似度最高的特徵。將這個最高相似度值和預設的臨界值相比較,如果大於臨界值,則返回該特徵對應的身份,否則返回「不在庫中」。

舉例說明:人臉辨識過程如下,判斷結果為輸入圖像為註冊庫中的jason


8、人臉檢索(Face Retrieval)
「人臉檢索」是查找和輸入人臉相似的人臉序列的算法。

人臉檢索透過將輸入的人臉,和一個集合中的說有人臉,進行比對,根據比對後的相似度,對集合中的人臉進行排序。根據相似度從高到低排序的人臉序列,即使人臉檢索的結果。

舉例說明:人臉檢索過程如下,右側綠框內排序序列為檢索結果

9、人臉聚類(Face Cluster)
「人臉聚類(Face Cluster)」是將一個集合內的人臉,根據身份進行分組的算法。

人臉聚類也透過將集合內所有的人臉,兩兩之間做人臉比對,再根據這些相似度值進行分析,將屬於同一個身份的人劃分到一個組裡。

在沒有進行人工身份標注前,只知道分到一個組的人臉,是屬於同一個身份,但不知道確切身份。

舉例說明:人臉聚類過程如下,右側綠框內按身份的分組結果為聚類結果


10、人臉活體(Face Liveness)
「人臉活體(FaceLiveness)」是判斷人臉圖像是來自真人,還是來自攻擊假體(照片、影片等)的方法。

在我們生活環境中,人臉認證系統中主要容易受到這種手段欺騙:
(1)用偷拍的照片假冒真實人;

(2)在公開場合錄的影片或網上公開的影片片段;

(3)用電腦輔助軟體設計的三維模型欺騙;

(4)用蠟或塑膠等材質構造的三維雕像欺騙。

現在所以人臉活體檢測技術的研究,顯得異常重要。對於照片欺騙,主要是根據解析度、三位三維資訊、眼動等來進行區分;對於影片欺騙,根據三維資訊、光線等來區分。

人臉辨識技術的主要用途
1、人臉辨識技術應用於鐵路安防系統(中國案例)
隨著技術的進步,人員組織的不斷複雜化,鐵路安全形勢不斷面臨新的挑戰。火車票實名制,有效阻止了不法分子進入車站,但是,目前鐵路客運安全檢查,基本還是靠安檢員來檢查票、證、人是否一致,而證件照片往往是多年前的照片,安檢員很難辨認,辨別度很低。


NEC face recognition system reinforces safety at Taipei Summer ...

而人臉辨識技術,準確度高、便捷性好,運用於鐵路安防系統,將極大的提高安防系統,強化通關,讓不法分子無空子可鑽。另外,人臉辨識技術還能助力強化追溯,支持在超大的人像庫中定位找查對象,這將有力協助警偵部門偵破案件,或逮捕在逃案犯。

2、人臉辨識技術應用於教育領域
近年來,從中考、高考等升學考試,到執業資格、晉級升職等等考試,均不同程度地出現了替考現象,而利用人臉辨識技術,實現證件內照片特徵,和即時人臉照片特徵比對辨識,辨別考生身份,可防止考場替考現象的發生。人臉辨識技術還可應用於校園,能有效地對進入校園的可疑人員做到預警。

3、人臉辨識技術推進於智能城市建設
隨著人類社會的不斷發展,未來城市將承載越來越多的人口,為實現城市可持續發展,建設智慧城市已成為當今世界城市發展不可逆轉的歷史潮流。

而在智慧城市的建設過程中,需注重對資訊的結構化儲存、分析挖掘,人臉的結構化雲辨識儲存,是構建整個智慧城市基礎數據之一,是智慧城市雲儲存體系中的不可或缺的一部分。透過智慧城市的高速數據傳輸鏈,及結構化的數據篩選,可將人臉大數據,與智慧城市中其它的大數據之間碰撞出火花,更加凸顯出人臉辨識「用」的價值。

如今,人臉辨識技術不再僅僅局限在考勤、門禁行業的簡單應用,而是憑借其人臉的唯一匹配性,以及安全優勢,受到高安全性環境應用領域的青睞。

人臉辨識的技術難點
人臉辨識雖說發展到現在3、40年的時間了,但它一直存在的幾個難點,到現在也沒能徹底解決。
1、光照問題
光照問題是機器視覺重的老問題,在人臉辨識中的表現尤為明顯。由於人臉的3D結構,光照投射出的陰影,會加強或減弱原有的人臉特徵。

2、表情姿態問題
與光照問題類似,姿態問題也是目前人臉辨識研究中,需要解決的一個技術難點。姿態問題涉及頭部在三維垂直座標系中,繞三個軸的旋轉造成的臉部變化,其中垂直於圖像平面的兩個方向的深度旋轉,會造成臉部資訊的部分缺失。

針對姿態的研究相對比較的少,目前多數的人臉辨識算法,主要針列正面、準正而人臉圖像,當發生俯仰或者左右側,而比較厲害的情況下,人臉辨識算法的辨識率也將會急劇下降。臉部幅度較大的哭、笑、憤怒等表情變化,同樣影響著臉部辨識的準確率。

3、遮擋問題
對於非配合情況下的人臉圖像採集,遮擋問題是一個非常嚴重的問題。特別是在監控環境下,往往彼監控對象,都會帶著眼鏡,帽子等飾物,使得被採集出來的人臉圖像有可能不完整,從而影響了後面的特徵提取與辨識,甚至會導致人臉檢測算法的失效。

4、年齡變化
隨著年齡的變化,臉部外觀也在變化,特別是對於青少年,這種變化更加的明顯。對於不同的年齡段,人臉辨識算法的辨識率也不同。一個人從少年變成青年,變成老年,他的容貌可能會發生比較大的變化,從而導致辨識率的下降。對於不同的年齡段,人臉辨識算法的辨識率也不同。


5、人臉相似性
不同個體之間的區別不大,所有的人臉的結構都相似,甚至人臉器官的結構外形都很相似。這樣的特點對於利用人臉,進行定位是有利的,但是對於利用人臉,區分人類個體是不利的。

6、圖像品質
人臉圖像的來源可能多種多樣,由於採集設備的不同,得到的人臉圖像品質也不一樣,特別是對於那些低解析度、噪聲大、品質差的人臉圖像(如手機攝影機拍攝的人臉圖片、遠端監控拍攝的圖片等)如何進行有效地人臉辨識,是個需要關注的問題。同樣的,對於高解析度圖像,對人臉辨識算法的影響,也需要進一步的研究。

7、樣本缺乏
基於統計學習的人臉辨識算法,是目前人臉辨識領域中的主流算法,但是統計學習方法需要大量的訓練。由於人臉圖像在高維空間中的分布,是一個不規則的流形分布,能得到的樣本,只是對人臉圖像空間中的一個極小部分的採樣,如何解決小樣本下的統計學習問題,有待進一步的研究。

8、海量數據
傳統人臉辨識方法如PCA、LDA等在小規模數據中,可以很容易進行訓練學習。但是對於海量數據,這些方法其訓練過程難以進行,甚至有可能崩潰。

9、大規模人臉辨識
隨著人臉資料庫規模的成長,人臉算法的性能將呈現下降。

大陸研究人臉辨識的公司有哪些
2015年以來,已有騰訊、阿里、民生銀行等多個行業巨頭,紛紛加碼人臉辨識產業。全世界巨頭紛紛加碼人臉辨識技術,將直接助推產業的爆發性成長。想知道具體企業以及方向,可以閱讀下方表格:






人臉辨識的未來
隨著大數據、共享時代的來臨,數據安全問題也越發被重視起來,以人臉識別為代表的新一代技術革命已經展開。這些對技術的要求越來越高,既要求數據的準確性,又要保證數據的安全性,人臉辨識在這方面大有可為,作為行業的主力軍,企業的技術實力與創新能力,決定著整個產業的走向,任何一點點技術的創新,都可能帶來行業的變革。

依託於物聯網與人工智慧的快速推進,人臉辨識應用場景會越來越廣泛。隨著對岸中國的國家科研機構的研發投入、企業對技術的鑽研、市場的推廣等,這些都將是人臉辨識美好前景的徵兆。據業內分析人士認為,未來人臉辨識或成為有效身份辨識主流,屆時,人臉辨識就不是什麼新鮮詞了。