Face2Face: Real-time Face Capture and Reenactment of RGB Videos (CVPR 2016 Oral)

來源：科技联盟

在正式進入人臉辨識技術這個話題之前，我們先從整容手術的奇特歷史講起，沿著這個思維，一起探討人臉辨識的前世今生。

仿真·易容術 —— 整容手術

整容手術雖然是一種新型手術學科，但也有近百年的歷史。尤其是二戰時期，軸心國與同盟國的諜報部門、情報人員部門為了搞敵後搞破襲戰，也有使用易容術的方法，來讓己方情報人員冒充敵方人員實施破壞。

鑒於那個時代還未出現電腦和人臉辨識技術，易容後的情報人員容易蒙混過關，只需要拿著偽造的證件和沖洗暗房製作的舊式「PS」照片，利用相似的長相，就可以輕易糊弄敵人。

俄羅斯紀錄片《破襲者》介紹庫茲涅佐夫的畫面

俄羅斯紀錄片《破襲者》第一集當中，講述了蘇聯內務人民委員會（NKVD）情報人員尼古拉·伊萬諾維奇·庫茲涅佐夫，冒充成德軍中尉保羅·威廉·西爾貝特，混入德佔區搞暗殺破壞的故事。

影片中展現的蘇聯選拔情報人員的方法，代表了那個時代的特點，無外乎就是長相相似，易容手術難度低，可以熟練掌握敵國語言的人。被千挑萬選出來的情報人員，靠著一張臉便可以如入無人之境，穿梭於敵後。那是一個易容術稱霸沒有人臉辨識技術的時代。

俄羅斯紀錄片《破襲者》中庫茲涅佐夫整容的歷史照片對比畫面

今天有了人臉辨識技術，並且辨識能力日趨增強，網上已經能看到不少能夠辨識整容手術的人臉辨識成功案例，但是「道高一尺，魔高一丈」的過關騙術也不在少數。畢竟，臉是一直露在外面的，可以任你塗抹和修改。

作為人工智慧技術的一個代表，人臉辨識技術今天已經出現在大量應用場景中。隨著這項科技的應用逐步增多，圍繞人臉辨識技術的種種質疑和爭議也多了起來。

下面僅演示兩個例子，來探討一下人臉辨識技術的現實困境。

全息投影·易容術 —— 復活的鄧麗君

鄧麗君逝世 23 週年之際，日本節目《金SMA》利用全像投影技術，使用全像投影復活了鄧麗君。在節目的畫面中，人們可以在 360 度全景攝影棚中，看到鄧麗君 1986 年在《日本作曲大賞》演唱《我只在乎你》日文版的經典片段。已經去世 23 年的鄧麗君「復活」，栩栩如生，即便是攝影機隨意調換角度，靠近鄧麗君的投影，連著台下觀眾真人一起拍攝，也讓人難辨真假。

全像投影技術用於懷念故去的親人，用於喚起一代粉絲對歌星的記憶，是一件很有意義的事，它可以為人類保存更多優秀的文化元素，讓文藝之星或偉大人物「永垂不朽」。

換個角度，在此筆者開了個腦洞，如果全像投影被應用於型動終端設備上，那有歪腦筋的人就有可能利用它投射的人像，破解人臉辨識設備，從事犯罪活動。

假設鄧麗君去世的 1995 年，有了人臉辨識技術應用於銀行存取款用戶辨識，那財迷心竅的人，就會把鄧麗君的各種錄像帶資訊複製加工成全像投影，選取需要的部分，來攻破人臉辨識系統，盜取鄧麗君的巨額遺產。

PS 做一張鄧麗君的圖片也花費一番功夫，更何況這是實景演播室！

攝影機靠鄧麗君投影那麼近，也看不出什麼不對。

如此一來，那些明星大腕三天兩頭，出現在電視螢幕中和影劇院營幕中，留下了大量影像素材，那他們的個人財產安全就有可能，因為人臉辨識的技術漏洞，而變得非常脆弱。

雖然上述內容是假想，但是全即像投影的技術，現實給破解人臉辨識技術，也許會帶來不可預知的挑戰，人臉辨識技術的安全隱憂和不可靠性值得進一步探討。

影像·易容術—— 「Face2Face」AI 直播換臉技術

德國紐倫堡大學在 2016 年發表了一篇 face2face 的論文，從技術上已經實現了遠端用模擬他人人臉進行身份認證。也就是說，駭客根本不需要你的人臉生物特徵數據，就可完成人臉進行身份認證。

美國史丹佛大學的研究團隊，也在當年研發出一款人臉跟蹤軟體 Face2Face，它可以透過攝影機捕捉用戶的動作和臉部表情，然後使用 Face2Face 軟體驅動影像中的目標人物，做出一模一樣的動作和表情，效果極其逼真。研究人員分別模仿了布希、歐巴馬、川普、普丁，筆者看後覺得細思極恐，毫無 PS 痕跡！

由於其精準的捕捉效果和即時化能力，Face2Face 在誕生之日起，就引起了軒然大波。在其演示影像下，無數網友質疑這項技術將成為網路詐騙、綁架勒索的幫凶，質疑如果視訊電話的另一端，竟然不是你認識的那個人，那將會是多麼恐怖的一件事。

「AI假臉王」開源：新一代 GAN 攻破幾乎所有人臉辨識系統

還記得英偉達推出的 StyleGAN 嗎？全新的生成器架構讓這個「新一代 GAN」生成的人臉真實到可怕。現在，StyleGAN 已經開源，包括源代碼和官方 TensorFlow 實現，都附有詳細使用說明。

以假亂真的精細人臉生成，令不少研究人員都驚呼：已經無法分辨虛擬和現實！

上述人臉全部由電腦生成，StyleGAN 的全新風格遷移生成器架構，能控制發色、眼睛大小等臉部特徵。

之前，大多數研究都集中在如何提高「換臉」技術上，也就是如何讓電腦生成超逼真的人臉。

誰料，這種技術發展的濫用造成了反效果，也即所謂的「DeepFake」。現在，DeepFake 已被用於指代所有看起來或聽起來，像真的一樣的假影像或假音訊。

Idiap 生物辨識安全和隱私小組負責人、瑞士生物辨識研究和測試中心主任 Sébastien Marcel 和他的同事、Idiap 研究所博士後 Pavel Korshunov 共同撰寫了論文，首次對人臉辨識方法，檢測 DeepFake 的效果，進行了較為全面的測評。

他們經過一系列實驗發現，當前已有的先進人臉辨識模型和檢測方法，在面對 DeepFake 時基本可以說是束手無策 —— 性能最優的圖像分類模型 VGG 和基於 Facenet 的算法，分辨真假影像錯誤率高達 95％；基於唇形的檢測方法，也基本檢測不出影像中，人物說話和口型是否一致。

看到這幾條新聞，我們不禁要反思，人臉辨識等高科技的應用，是不是要認真考慮一下社會舒適度，和個人有效保護隱私的內心需要。到底怎樣的身份辨識能夠引領未來，這些林林總總的問題，都需要每一個科技研發團隊、社會科學學者、法律人士認真思考。

科技在發展的過程中，不可能是一片坦途，回顧科技發展史，尤其是充滿躁動的 20 世紀，兩次世界大戰前後的許多發明，都是以井噴和「你方唱罷我登場」的速度演繹著科技發明的「進化論」，很難說誰永遠對，誰一時錯，但有一條基本的原則是不變的，那就是能夠推動人類社會進步，更好地維護人的權利和隱私，讓這個世界變得更美好，這樣的發明能夠走得更遠，發展得更好。