leiphone 亚峰

近日，一家名叫Veeso的公司，研發出一套能夠追蹤玩家臉部表情的社交VR頭顯，官方稱是全球首款能夠捕捉臉部表情，並即時轉換成為數位人物的VR設備，目前在Kickstarter上眾籌。

即時轉換效果如下：

目前VR社交存在的問題

現階段的VR社交，已經完成對社交對象的方向、位置、基本姿態、頭部的跟蹤，但這只滿足了最基本的需求：與對方交流，看見對方身體。目前Altspace VR、High Fidelity 和 vTime已研發出VR社交頭顯，三者為玩家提供一個虛擬化身（Avatar ）代表虛擬世界中的自己，但形象建模太過「粗糙」，甚至不能反映用戶的動作和表情，而且裡面所構建的 VR 社交環境也是基於傳統社交應用的交互方式。

為了讓VR社交更有趣些，Altspace VR開始在裡面植入各種功能和小遊戲，比如網頁瀏覽、藝術畫廊、桌游賭場等。

但是，VR 社交的核心是人與人之間的交往，而非遊戲和環境。

人類在現實環境中的社交，並不只有言語上的對話，還需根據表情來得知對方的真實想法和感受。數據統計，人類在社交中的信息傳達只有30%是通過語言實現的，剩餘70%則是通過表情和肢體動作實現。因此，表情捕捉在VR社交中就顯得尤為重要。創造出與真實表情完全同步的虛擬場景，玩家便可以通過表情變化來提高社交對象的社交感受。

臉部捕捉技術

1.常見的臉部捕捉技術

常見的臉部表情捕捉技術，可將真實的臉部表情以動畫的方式呈現在自定義的虛擬化身上，讓其化身角色變得栩栩如生，打造更沈浸的虛擬現實體驗，這在好萊塢電影特效製作中應用比較廣泛。蘋果去年收購的Faceshift就是一家臉部表情動作捕捉公司，該產品通過捕捉演員的臉部運動，將其複製在動畫影視，以及遊戲中的虛擬角色中。

但這類辨識技術存在兩個問題，第一是用戶需要在臉部貼上mark點，mark點是電路板設計中PCB應用於自動貼片機上的位置辨識點，通過高速攝影機捕捉人臉上的mark點，來反算臉部動作。放置mark點的過程繁瑣複雜，僅適用於專業表演而不適合普通玩家。

第二個問題是，上述辨識技術不具備實時性，還需要進行後期MAYA、3D MAX合成。

2.Veeso的臉部捕捉特点

而Veeso的特點是，用戶無需在臉上畫mark點，而且可進行及時捕捉，直接實時同步在虛擬數字人物中。Veeso的VR頭顯原型機中設有兩個攝影機，一個隱藏在頭顯中，用於記錄玩家的眼球和眉毛運動；另一個從頭顯正下方伸出來，記錄用戶的嘴部和下巴的運動。兩個攝影機同時記錄眼球、眉毛、嘴部和下顎的動作，將臉部表情映射到虛擬化身臉上。