leiphone 亚峰
近日，一家名叫Veeso的公司，研發出一套能夠追蹤玩家臉部表情的社交VR頭顯，官方稱是全球首款能夠捕捉臉部表情，並即時轉換成為數位人物的VR設備，目前在Kickstarter上眾籌。
即時轉換效果如下：
目前VR社交存在的問題
現階段的VR社交，已經完成對社交對象的方向、位置、基本姿態、頭部的跟蹤，但這只滿足了最基本的需求：與對方交流，看見對方身體。目前Altspace VR、High Fidelity 和 vTime已研發出VR社交頭顯，三者為玩家提供一個虛擬化身（Avatar ）代表虛擬世界中的自己，但形象建模太過「粗糙」，甚至不能反映用戶的動作和表情，而且裡面所構建的 VR 社交環境也是基於傳統社交應用的交互方式。
為了讓VR社交更有趣些，Altspace VR開始在裡面植入各種功能和小遊戲，比如網頁瀏覽、藝術畫廊、桌游賭場等。
但是，VR 社交的核心是人與人之間的交往，而非遊戲和環境。
人類在現實環境中的社交，並不只有言語上的對話，還需根據表情來得知對方的真實想法和感受。數據統計，人類在社交中的信息傳達只有30%是通過語言實現的，剩餘70%則是通過表情和肢體動作實現。因此，表情捕捉在VR社交中就顯得尤為重要。創造出與真實表情完全同步的虛擬場景，玩家便可以通過表情變化來提高社交對象的社交感受。
臉部捕捉技術
1.常見的臉部捕捉技術
常見的臉部表情捕捉技術，可將真實的臉部表情以動畫的方式呈現在自定義的虛擬化身上，讓其化身角色變得栩栩如生，打造更沈浸的虛擬現實體驗，這在好萊塢電影特效製作中應用比較廣泛。蘋果去年收購的Faceshift就是一家臉部表情動作捕捉公司，該產品通過捕捉演員的臉部運動，將其複製在動畫影視，以及遊戲中的虛擬角色中。
但這類辨識技術存在兩個問題，第一是用戶需要在臉部貼上mark點，mark點是電路板設計中PCB應用於自動貼片機上的位置辨識點，通過高速攝影機捕捉人臉上的mark點，來反算臉部動作。放置mark點的過程繁瑣複雜，僅適用於專業表演而不適合普通玩家。
第二個問題是， 上述辨識技術不具備實時性，還需要進行後期MAYA、3D MAX合成。
2.Veeso的臉部捕捉特点
而Veeso的特點是，用戶無需在臉上畫mark點，而且可進行及時捕捉，直接實時同步在虛擬數字人物中。Veeso的VR頭顯原型機中設有兩個攝影機，一個隱藏在頭顯中，用於記錄玩家的眼球和眉毛運動；另一個從頭顯正下方伸出來，記錄用戶的嘴部和下巴的運動。兩個攝影機同時記錄眼球、眉毛、嘴部和下顎的動作，將臉部表情映射到虛擬化身臉上。
3.即時臉部捕捉技術難題
由於追蹤臉部表情並在虛擬畫面中重現是同步的，所以其技術實現難度較大，主要在於：追蹤與重現（映射到虛擬化身）的延遲、設備數據處理能力、追蹤傳感器的敏感精度、社交網路的頻寬等等。
而且臉部追蹤涉及到的學科範圍較廣，包括CV、電子、機械學、心理感知、機器學習、臉部動畫、傳感器等技術。即時臉部捕捉的運行過程大致如下，人的表情先被傳感器追蹤到，經數據處理後，通過高速寬頻網路傳輸，至社交對象的VR設備中，並被在其虛擬環境中重現。
已有的解决方案
其實，已經有多個團隊在嘗試VR臉部捕捉技術。南加州大學助理教授黎顥正在與Oculus合作研究虛擬現實頭顯的臉部跟蹤功能，該設備初始原型和研究論文《頭戴顯示設備的臉部表情捕捉》(Facial Performance Sensing Head-Mounted Display)」在2015年的SIGGRAPH（圖形學及互交技術特殊愛好者集團）首次被公開。
他們在合作研究中發現，由於VR玩家的頭部被HMD擋住一部分，這會為VR實現臉部表追蹤造成很大的麻煩。於是，研究者們嘗試將傳感器嵌入在泡沫板裡(下圖黃色標記部分)，通過感應臉部肌肉的抽動，來捕捉玩家臉上部的表情，而前面伸出的攝影機用來追蹤用戶的下巴和嘴的動作。
黎顥表示這個原型證明，在虛擬現實頭顯下使用應變傳感器，並結合機器學習算法，是有可能推斷臉部表情的，但這樣的設備離實現實現臉部表情完美追蹤與重現，還有一定的距離。
Veeso與上述原型實現嘴部和下巴追蹤的方式相似，均在產品前面加上一個伸出來的支架和攝影機。而有人曾嘗試利用Lip Sync通過聲音，計算出虛擬角色的口型，讓玩家的嘴部形狀與所說的話匹配。通過聲音來匹配嘴部運動的方式，雖在最基本的對話場景中管用，但如果玩家想悄無聲息地做個鬼臉就捉襟見肘了。
國外一項技術根據虛擬場景內，發生的事件來進行表情重現，當玩家在虛擬場景中，遇到突發事件時，根據事件內容來推測用戶的興趣焦點，最終生成生眼部動作。
通俗講，就是根據具體場景來推測玩家的眼部表情。另外一種新型技術則是先用攝影機抓取臉的下半部份，然後利用深度學習分析下半部分臉部表情，從而還原出完整臉部。這兩項技術雖不能被當做主流捕捉技術，但可為主流解決方案起到潤色作用，依據推測型算法讓捕捉和重現更加精準。
官方稱，Veeso頭顯能適配所有iOS和安卓設備，不僅支持現在市面上的 VR 內容，還有幾款自主研發的遊戲可供玩家選擇。目前從Kickstarter上發佈的 Demo 影片來看，頭顯的臉部追蹤系統和 VR 場景中的表情演示還不夠準確，還有很多技術問題需要解決。
因此所謂的「全球首款內置臉部追蹤技術的VR設備」這個稱號，也並不能代表它具有多大的顛覆性。
目前該項目的搶先體驗價為70美元，開發者能夠以80美元購買設備和開發套件。
沒有留言:
張貼留言