Real-Time of Face Detection, Emotion, Age and Gender Estimation
即時臉部檢測、情緒、年齡和性別估計
今天給大家帶來一篇人臉辨識中的年齡估計技術，年齡特徵作為人類的一種重要生物特徵，電腦要如何基於人臉圖像估計年齡呢？
01 概述
簡單地說，基於人臉圖像的年齡，估計是指機器根據臉部圖像，推測出人的大概年齡，或所屬的年齡範圍 ( 年齡段)。
基於人臉圖像的年齡估計系統，一般分為人臉檢測與定位、年齡特徵提取、年齡估計、系統性能評價幾個部分。根據提取特徵方式的不同，又分為傳統方法和深度學習方法。
同一張圖在不同應用中的測定（左商湯，右年齡檢測器）
不同的人臉在同一應用中測定 (百度雲 AI 為例)
不同年齡、不同膚色，在年齡估計系統中評分測試
如果人臉圖像的年齡估計問題得到解決，那麼在日常生活中，基於年齡資訊的各種人機交互系統，將在現實生活中有著極大的應用需求。
市場主流年齡估計軟體，對岸中國包括商湯科技、face++、百度雲 AI 體驗中心、騰訊雲 AI 體驗中心、年齡檢測儀。
我們隨機拿了一些名人照片做測試，總體說來 face++ 在測試集上表現最好。
02 人臉年齡數據集與算法評價指標
2.1 公開數據集
2.1.1 The IMDB-WIKI dataset 數據集 【1】
網址： https://data.vision.ee.ethz.ch/cvl/rrothe/imdb-wiki/
介紹：從 IMDb 和維基百科上，爬取的名人圖片，根據照片拍攝時間戳和出生日期，計算得到的年齡資訊。應該是目前最大的人臉年齡數據集
大小： 共 523051 張 face images
標籤：年齡和性別
2.1.2 Adience Benchmark Of Unfiltered Faces For Gender And Age Classification 數據集【2】
網址： https://www.openu.ac.il/home/hassner/Adience/data.html#frontalized
介紹：iPhone5 或更新的智慧手機拍攝
標籤：年齡段（0-2, 4-6, 8-13, 15-20, 25-32, 38-43, 48-53, 60+）
大小：26580 張、 2284 人
2.1.3 Cross-Age Celebrity Dataset (CACD)【3】
網址： http://bcsiriuschen.github.io/CARC/
描述：與數據集 2.1.1 類似
標籤：年齡
大小：163446 張名人圖片，約 4.4G
2.2 算法評價指標
目前常用的年齡估計評價指標，包括平均絕對誤差 ( MAE) 和累積指數 ( CS) 。
2.2.1 MAE
平均絕對誤差，是指估計年齡和真實年齡之間絕對誤差的平均值，其表達式為
2.2.2 CS
年齡估計性能評價中，人們關注更多的是，所估計出的年齡值的絕對誤差範圍，是否在人們能接受的範圍內，因此累積指數被用於年齡估計的性能評價中，累積指數的定義如下：
式中，Nθ≦j 表示測試圖像中，估計年齡與真實年齡的絕對誤差，不超過 j 年的測試圖像數，分母 N 為所有測試圖像的總數。因此 CS 越大，說明估計年齡越接近真實年齡，年齡估計越準確。
03 傳統方法研究思路
傳統方法研究思路，自然就是手動提取特徵，我們基於參考文獻【4】來做說明。
傳統方法即手動提取特徵，傳統方法可粗略劃分為手動提取特徵，和年齡估計兩個階段。
根據特徵所反映的人臉資訊，可以將常用的人臉年齡特徵，分為形狀特徵、紋理特徵、代數特徵以及混合特徵。
由於每種類型的特徵，均從不同角度描述了人臉圖像，為了充分利用各種特徵的優點，研究人員通常綜合整合多種人臉特徵，並採用不同的數學方法，對其進行處理，從而形成了各具特色的臉部年齡特徵提取模型。
常見的特徵提取模型，包括人體測量學模型 ( anthropometric models) 、特徵子空間模型 ( AGES) 、柔性模型 ( flexible models) 、流形學習 ( age manifold)， 以及外觀模型 ( appearance model) 等。
3.1 特徵提取模型
3.1.1 人體測量學模型
a) 主要內容：
人體測量學模型，利用了人臉的幾何形狀特徵，進行年齡分類，主要是描述隨著年齡的成長，人臉整體輪廓變化的數學規律，它所測量的，是人臉的一種結構資訊。主要過程歸納為：人臉輪廓檢測、人臉特徵點定位、多種幾何比例測量（如兩眼之間的間距、兩眼之間的間距等），最後利用幾何比例，進行年齡段的區分。
b) 適用範圍：
主要適合於對未成年人，進行年齡分類
c) 侷限性：
由於該模型，對人體姿態變換比較敏感，因此主要適用於提取正面人臉圖像的年齡特徵
3.1.2 柔性模型
a) 主要內容：
柔性模型將人臉的形狀，與灰度 / 紋理有機結合起來，從整體入手，充分提取人臉圖像的形狀資訊和全局紋理資訊，可以看作是人體測量學模型的升級版，其典型的代表是主動形狀模型 ( ASM) 和主動外觀模型 ( AAM)。
b) 適用範圍：
該模型可以更好地適應，複雜圖像的特徵點定位和特徵提取，不僅適用於對青少年進行年齡分類，也適用於對中老年人進行分類。
c) 局限性：
1) 隨著年齡的成長，人臉紋理的變化，更多地體現在局部區域，如額頭、眼角、臉頰等，因此採用該模型進行特徵提取時，將會丟失掉很多局部紋理資訊，可能不利於對老年人進行年齡估計。
2) 在訓練過程中，柔性模型通常將形狀和紋理空間分別進行訓練，這將會損失掉大量紋理和形狀之間的有效資訊。
3) 此外柔性模型的確定，依賴於很多臉部特徵點的準確定位，一旦定位出現誤差，這種誤差將很容易在後續處理中被放大。
3.1.3 外觀模型
a) 主要內容：
外觀模型將人臉幾何特徵與全局資訊，局部資訊（如面部紋理信息、頻率信息和膚色信息）相融合，進行人臉描述，進而進行年齡估計，可以看作是柔性模型的升級版，目前應用最為廣泛。
b) 適用範圍：
它較好地描述了臉部的紋理特性，並常常與形狀特徵相融合，可以較好地實現全年齡段的年齡估計。
c) 侷限性：
只能用於粗略估計，給出一個大概的年齡段。
3.2 年齡估計
基於人臉圖像的年齡估計，是一類「特殊」的模式辨識問題: 一方面由於每個年齡值，都可以看作是一個類，所以年齡估計，可以被看作是一種分類問題；
另一方面，年齡值的成長，是一個有序數列的不斷變化過程，因此年齡估計，也可被視為一種回歸問題。有研究者透過對已有年齡估計工作，進行總結後認為: 針對不同的年齡數據庫，和不同的年齡特徵、分類模式，和回歸模式具有各自的優越性，因此將二者有機融合，可以有效提高年齡估計的精度。
由於傳統的年齡估計模式，忽略了人臉衰老的動態性，最近研究人員又將 Rank 模型，引入到年齡估計方法中，並取得了較好的效果。
3.2.1 分類模型
每個年齡值，都可以看作是一個類，所以年齡估計，可以被看作是一種分類問題。分類模式採用模式分類的理念與方法，實現年齡的估計。可以分為對年齡段進行分類，和對具體年齡值進行分類。
3.2.2 回歸模型
年齡值的成長，是一個有序數列的不斷變化過程，因此年齡估計也可被視為一種回歸性問題。回歸模式運用回歸分析的方法，透過建立表徵人臉年齡變化，規律的函數模型，來實現年齡的估計。
3.2.3 Rank 模型
人類衰老，是一個「動態」變化的個性化過程。傳統的基於分類模式的年齡估計，把年齡分成了若干個年齡段，沒有考慮到不同年齡之間的相互關係，因此損失了很多重要的資訊 ; 傳統的回歸模式雖然考慮到了年齡之間的相關性，但是卻假設人的衰老，是一個「靜態」過程，即不同年齡的人的衰老變化規律一致。
此外，在日常生活中，我們對一個人進行年齡判定時，總是將該人臉與我們熟悉的，且知道相應年齡的人臉圖像進行比較，透過綜合大量的比較結果，進行年齡判斷。
因此，年齡估計過程可以看成，是對大量人臉有效資訊，對進行比較的過程，也就是透過若干組二值分類，結果就可以得到相應的年齡估計值，透過尋找當前年齡標籤，在年齡序列中的相對位置，來確定最終的年齡值，從而有效克服了傳統的年齡估計方法，忽略了人類臉部衰老過程中的動態性、模糊性，以及個性化的特點.
3.2.4 混合年齡估計模型
不同的估計模式，具有不同的優勢，因此可以將各種估計模式綜合起來，進行年齡的估計。所謂混合年齡估計模式，就是使用多個不同的年齡估計器，代替單個年齡估計器來進行年齡估計。
04 深度學習方法研究思路
近年來伴隨著深度學習的火爆，應用深度學習方法，解決人臉年齡估計問題，成為了主流。
實際上，就是利用深度學習自己學習特徵，替換掉了上面傳統方法提取的一系列特徵。在大數據的加持下，模型的加強性遠超傳統方法。下圖就是文獻【1】，奪得 ChaLearn LAP 2015 challenge 的 pipeline。
該文是多個模型的融合，將年級估計問題作為一個 0~100 歲的 101 類的分類問題來研究。
有的文獻會利用神經網路提取特徵後，做一些 PCA 的維度，實際上筆者認為沒有這個必要。
在經過正確的人臉檢測和對齊後，現有的深度學習模型，完全能夠 end-to-end 的解決這個問題。
總結
基於人臉的年齡估計，仍然是一個可以繼續研究的問題，因為以美顏等為代表的技術，干擾著算法的準確性。
不過，年齡的估計本身就不一定能反映真實的生理年齡，有的人就是比同齡人，顯得年輕很多或者老很多，所以該技術不可能像指紋辨識或者人臉辨識一樣，在非常重要的應用中獨當一面，而只能作為輔助算法。不過，研究研究還是很好玩的。
0 comments:
張貼留言