cookieOptions = {...}; .人臉辨識顏值研究綜述篇 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

2019年9月30日 星期一

How Does Facial Recognition Work?



來源:infoq.cn 作者:杨皓博,有三AI 言有三

人脸颜值研究综述

今天帶來一篇人臉辨識中的顏值打分數技術,所謂「顏值」,基於什麼標準來評判高低呢?既然是個「數值」,那到底能不能「測量」一下?

01 概述
近年來隨著人臉辨識技術的發展,顏值打分數也受到了廣泛的關注與研究。即便可使人來打分數,大家也口味各異,御姐蘿莉各有所愛。電腦又豈能判斷人的美醜呢?實際上科學家研究過人臉的 " 顏值 ",並一直在開發相對應的「顏值算法」。

「平均臉」 的思想,是透過算法檢測特徵點,然後將人臉圖像劃分成不同區域,再做分段放射變換與加權平均,綜合考慮人臉的形狀特徵,和紋理特徵,合成的圖如下:

人脸颜值研究综述

五官勻稱、輪廓對稱、膚色美觀的臉,更容易受到大眾的喜歡,這一點在顏值中,可算達到臉共識,也就是「醜人多作怪,美人一個胚」。正因如此,顏值算法才有了可行性,很多公司開發了顏值打分數的應用,接著我們就來看看。


同一張圖在不同應用中的測定:

人脸颜值研究综述
不同的人臉在同一應用中測定 (百度 AI 為例)

人脸颜值研究综述

不同年齡不同膚色,在顏值打分數系統中,評分測試 (例曠視科技,列出部分測試)

人脸颜值研究综述


人脸颜值研究综述

顏值測定是一項娛樂的應用,我們從下面的數據集中,隨機拿了幾張圖做測試,結果如下:

1. 不同膚色給出分數無明顯差異


2. 評分多在 60 分左右

人脸颜值研究综述

總的來說表現都差不多,娛樂為主吧。

02人臉顏值數據集與標價指標
2.1 數據集
人脸颜值研究综述
數據集共 5500 個正面人臉,年齡分布為 15-60,全部都是自然表情。包含不同的性別分布和種族分布(2000 亞洲女性,2000 亞洲男性,750 高加索男性,750 高加索女性),數據分別來自於數據堂,US Adult database 等。

每一張圖由 60 個人進行評分,共評為 5 個等級,這 60 個人的年齡分布為 18~27 歲,均為年輕人。適用於基於 apperance/shape 等的模型研究。同時,每一個圖都提供了 86 個關鍵點的標注。

各類人群的顏值分布如下:

人脸颜值研究综述

顏值分數都使用包含兩個主成分的混合高斯模型去擬合,紅色和綠色分別是低顏值和高顏值的分布曲線,可見對於這 4 類人群,平均高顏值在 4,低顏值在 2.5 左右。

人脸颜值研究综述

2.2 評價準則
2.2.1 Pearson correlation coefficient
用來度量數據間是否存在線性關係,也表徵了變量間線性關係的強弱。它透過計算兩個數據集合之間的距離,用來衡量兩個數據集合的線性相關度。

設 N 幅人臉圖像的人工評分值為{ x1,x2,…,xi,…,xN} ,計算得到的分值為 { y1,y2,…,yi,…,yN } ,其中 xi 表示第 i 幅圖像的真值,yi 表示第 i 幅圖像的人臉顏值預測結果。相關係數 r 計算公式如式如下:


人脸颜值研究综述

r 值越高,表示人工分類結果,與本文方法預測結果越接近,該方法的性能就越好,反之,則越差,如下圖所示。

人脸颜值研究综述


2.2.2 Maxumum absolute error 和 root mean square error
Maxumum absolute error 就是真值和預測值的絕對差值,root mean square error 就是誤差平方和的根,比較簡單就不列出公式了。

03傳統方法研究思路
傳統方法研究思路,自然就是手動提取特徵,我們基於參考文獻來做說明。

分為幾何特徵表觀特徵,幾何特徵包括人臉關鍵特徵點位置、關鍵位置距離資訊,以及人臉各器官面積比例;表觀特徵包括 LBP 紋理特徵。將這兩種特徵,進行串聯得到融合特徵。

下面是具體的步驟。

3.1 圖像預處理
人臉圖像收集時,品質不同且伴有噪聲,明暗灰度也差異較大,對圖像進行預處理,有助於後續對人臉特徵的提取與計算。圖像預處理包括灰度化處理、位置檢測,以及傾斜校正處理

1. 將圖像轉化為灰度圖
2. 利用 Haar 分類器截取人臉的大致區域
3. 計算傾斜角並矯正

3.2 幾何特徵提取
3.2.1 全局特徵
根據 ASM 算法將 68 個人臉特徵點的橫縱坐標,連接起來構成表徵人臉,幾何特徵關鍵點的特徵向量,這就是全局特徵。但是由於原始圖像角度問題,會導致向量在計算過程中,會出現誤差,所以要對向量進行歸一化處理,具體包括 (1) 平移不變處理 (2) 尺度不變處理 (3) 旋轉不變處理

3.2.2 人臉距離特徵
人到一定年齡以後,臉部的器官位置資訊,將不再隨著年齡的成長而變化 ( 手術或意外情況除外) ,基於 ASM-68 向量定義 18 個距離特徵如下:


人脸颜值研究综述

人脸颜值研究综述


3.2.3 面積特徵
根據 ASM 定位的關鍵點,找到表徵各器官面積的三角形,如眼睛、鼻子、下巴、嘴等, 將得到的 54 個三角形面積特徵,歸一化後就可以得到三角形面積特徵。


人脸颜值研究综述


3.3 表觀特徵提取
表觀特徵表徵的,是人臉的整體外貌和人臉的皮膚狀況等資訊。可以反映出如紋理資訊、人臉皮膚的狀態、顏色深淺臉部資訊等。表觀特徵選擇比較成熟的 LBP 特徵。

LBP 特徵,就是在圖像的某個區域內,將中心像素點的像素值作為閾值,相鄰像素點與其進行對比,大於閾值標記為 1,小於或等於則標記為 0,產生 8 位二進制數,該值作為中心像素點的 LBP 值。當然,Gabor 特徵也是經常使用的。

3.4 特徵融合與分類
3.4.1 人臉特徵融合
前面提取的幾何特徵,顯示了人臉關鍵特徵點資訊、人臉各器官間的距離比例資訊,以及面積特徵等,表觀特徵表徵了人臉的全局紋理特性。由於都已經進行了歸一化處理,因此可以直接採用串聯的方式,進行特徵融合。

3.4.2 分類
融合了特徵之後就可以進入分類器了,常用的是 SVM。

採用了 18 維的距離特徵和 Gabor 濾波特徵,使用了 linear regression,gaussian regression 和 support vector regression 方法進行比較。效果如下:


人脸颜值研究综述

從結果看來,對於幾何特徵,Gaussian Regression 和 Support vector Regression 表現更好均優於 linear regression 方法,而對於紋理特徵,求取關鍵點的方法的不同,使得 Gaussian regression 和 Support vector Regression 各有優劣。

04深度學習方法研究思路
基於深度學習的方法,由於已經沒有了手設特徵的一步,所以就只剩下優化目標的選擇,和網路的選擇。更強大的網路,通常都有更好的性能,我們看看訓練的結果。

人脸颜值研究综述

實驗結果顯示符合我們的預測,網路最強大的 ResNext-50 取得最優性能,同時,所有的網路都優於最好的傳統方法。基於深度學習的方法,沒有太多可以說的地方,懟數據就是正確答案。

05總結
最後我們做一個總結。人臉顏值打分數算法,雖然是一個比較主觀的問題,但是也可以取得比較統一的結果。它可以是一個分類問題,也可以是一個回歸問題。

基於深度學習的方法 + 更大更高品質的數據集的整理,可以非常完美地解決這個問題。在各大軟體當中目前用於娛樂,但顏值算法同樣在美容等行業有一定價值,還有待應用。

按此回今日3S Market新聞首頁
任何顏色車牌——都拍攝的清清楚楚!

0 意見: