cookieOptions = {...}; .VR 臉部追蹤技術 :在虛擬世界中也可看清我的笑臉 - 3S Market「全球智慧科技應用」市場資訊網

3S MARKET

3S MARKET
2016年8月8日 星期一

leiphone 亚峰




VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

近日,一家名叫Veeso的公司,研發出一套能夠追蹤玩家臉部表情的社交VR頭顯,官方稱是全球首款能夠捕捉臉部表情,並即時轉換成為數位人物的VR設備,目前在Kickstarter上眾籌。


即時轉換效果如下:

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

  目前VR社交存在的問題

現階段的VR社交,已經完成對社交對象的方向、位置、基本姿態、頭部的跟蹤,但這只滿足了最基本的需求:與對方交流,看見對方身體。目前Altspace VR、High Fidelity 和 vTime已研發出VR社交頭顯,三者為玩家提供一個虛擬化身(Avatar )代表虛擬世界中的自己,但形象建模太過「粗糙」,甚至不能反映用戶的動作和表情,而且裡面所構建的 VR 社交環境也是基於傳統社交應用的交互方式。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

為了讓VR社交更有趣些,Altspace VR開始在裡面植入各種功能和小遊戲,比如網頁瀏覽、藝術畫廊、桌游賭場等。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸


但是,VR 社交的核心是人與人之間的交往,而非遊戲和環境。

人類在現實環境中的社交,並不只有言語上的對話,還需根據表情來得知對方的真實想法和感受。數據統計,人類在社交中的信息傳達只有30%是通過語言實現的,剩餘70%則是通過表情和肢體動作實現。因此,表情捕捉在VR社交中就顯得尤為重要。創造出與真實表情完全同步的虛擬場景,玩家便可以通過表情變化來提高社交對象的社交感受。




  臉部捕捉技術

1.常見的臉部捕捉技術
常見的臉部表情捕捉技術,可將真實的臉部表情以動畫的方式呈現在自定義的虛擬化身上,讓其化身角色變得栩栩如生,打造更沈浸的虛擬現實體驗,這在好萊塢電影特效製作中應用比較廣泛。蘋果去年收購的Faceshift就是一家臉部表情動作捕捉公司,該產品通過捕捉演員的臉部運動,將其複製在動畫影視,以及遊戲中的虛擬角色中。


但這類辨識技術存在兩個問題,第一是用戶需要在臉部貼上mark點,mark點是電路板設計中PCB應用於自動貼片機上的位置辨識點,通過高速攝影機捕捉人臉上的mark點,來反算臉部動作。放置mark點的過程繁瑣複雜,僅適用於專業表演而不適合普通玩家。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

第二個問題是, 上述辨識技術不具備實時性,還需要進行後期MAYA、3D MAX合成。

2.Veeso的臉部捕捉特点

而Veeso的特點是,用戶無需在臉上畫mark點,而且可進行及時捕捉,直接實時同步在虛擬數字人物中。Veeso的VR頭顯原型機中設有兩個攝影機,一個隱藏在頭顯中,用於記錄玩家的眼球和眉毛運動;另一個從頭顯正下方伸出來,記錄用戶的嘴部和下巴的運動。兩個攝影機同時記錄眼球、眉毛、嘴部和下顎的動作,將臉部表情映射到虛擬化身臉上。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸


3.即時臉部捕捉技術難題
由於追蹤臉部表情並在虛擬畫面中重現是同步的,所以其技術實現難度較大,主要在於:追蹤與重現(映射到虛擬化身)的延遲、設備數據處理能力、追蹤傳感器的敏感精度、社交網路的頻寬等等。

而且臉部追蹤涉及到的學科範圍較廣,包括CV、電子、機械學、心理感知、機器學習、臉部動畫、傳感器等技術。即時臉部捕捉的運行過程大致如下,人的表情先被傳感器追蹤到,經數據處理後,通過高速寬頻網路傳輸,至社交對象的VR設備中,並被在其虛擬環境中重現。

  已有的解决方案

其實,已經有多個團隊在嘗試VR臉部捕捉技術。南加州大學助理教授黎顥正在與Oculus合作研究虛擬現實頭顯的臉部跟蹤功能,該設備初始原型和研究論文《頭戴顯示設備的臉部表情捕捉》(Facial Performance Sensing Head-Mounted Display)」在2015年的SIGGRAPH(圖形學及互交技術特殊愛好者集團)首次被公開。


VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

他們在合作研究中發現,由於VR玩家的頭部被HMD擋住一部分,這會為VR實現臉部表追蹤造成很大的麻煩。於是,研究者們嘗試將傳感器嵌入在泡沫板裡(下圖黃色標記部分),通過感應臉部肌肉的抽動,來捕捉玩家臉上部的表情,而前面伸出的攝影機用來追蹤用戶的下巴和嘴的動作。


VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

黎顥表示這個原型證明,在虛擬現實頭顯下使用應變傳感器,並結合機器學習算法,是有可能推斷臉部表情的,但這樣的設備離實現實現臉部表情完美追蹤與重現,還有一定的距離。


Veeso與上述原型實現嘴部和下巴追蹤的方式相似,均在產品前面加上一個伸出來的支架和攝影機。而有人曾嘗試利用Lip Sync通過聲音,計算出虛擬角色的口型,讓玩家的嘴部形狀與所說的話匹配。通過聲音來匹配嘴部運動的方式,雖在最基本的對話場景中管用,但如果玩家想悄無聲息地做個鬼臉就捉襟見肘了。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

國外一項技術根據虛擬場景內,發生的事件來進行表情重現,當玩家在虛擬場景中,遇到突發事件時,根據事件內容來推測用戶的興趣焦點,最終生成生眼部動作。


通俗講,就是根據具體場景來推測玩家的眼部表情。另外一種新型技術則是先用攝影機抓取臉的下半部份,然後利用深度學習分析下半部分臉部表情,從而還原出完整臉部。這兩項技術雖不能被當做主流捕捉技術,但可為主流解決方案起到潤色作用,依據推測型算法讓捕捉和重現更加精準。

VR面部追踪技术 :在虚拟世界中也可看清我的笑脸

官方稱,Veeso頭顯能適配所有iOS和安卓設備,不僅支持現在市面上的 VR 內容,還有幾款自主研發的遊戲可供玩家選擇。目前從Kickstarter上發佈的 Demo 影片來看,頭顯的臉部追蹤系統和 VR 場景中的表情演示還不夠準確,還有很多技術問題需要解決。

因此所謂的「全球首款內置臉部追蹤技術的VR設備」這個稱號,也並不能代表它具有多大的顛覆性。


目前該項目的搶先體驗價為70美元,開發者能夠以80美元購買設備和開發套件。

                                                                                                                                                                                                                            

0 comments: