．眼球追蹤：VR 頭顯的「下一個重大突破」

The Eye Tribe Tracker - The world's first affordable eye tracker

來源：智東西 Lina

眼球追蹤技術自醫療研發而始，經過數十年漫長的技術累積以後，已經開始逐漸升溫，進入商業化應用階段，被陸續用在了電腦、手機、VR頭顯、甚至汽車等不同設備上；作為一項和視覺圖像息息相關的產業，眼動追蹤將成為，影響VR行業發展的又一關鍵技術。

筆者近日對國際領先的，眼動技術上市公司瑞典Tobii集團，及中國領先的眼動技術公司七鑫易維進行了獨家專訪。

2016年10月與12月，Google與Oculus分別收購了，眼球追蹤技術公司Eyefluence與The Eye Tribe——兩家公司分別位於矽谷與丹麥，Eyefluence曾獲兩輪共2160萬美元的融資，而The Eye Tribe則曾獲300萬美元融資，與230萬美元政府資金。

在2017 CES上，老牌眼球追蹤廠商德國SMI、瑞典Tobii集團，以及中國公司七鑫易維、日本初創FOVE，分別推出了具備眼球追蹤技術的VR套件，或VR頭顯，高通、英偉達、Lumus、StarVR等的頭顯中，都整合了此項技術，三星、微軟等各大巨頭，也陸續被報導，已經申請的VR/AR眼球追蹤技術相關專利……眼動追蹤技術此刻正悄然扎根VR行業裡。

雖然現在的技術發展水準，離直接使用眼球控制還有些遠，但由眼球追蹤，衍生的注視點渲染技術，對目前的高配VR/AR的小型化、平民化有著極其重要意義——簡單來說，它能夠優化圖像渲染，降低CPU計算負載30％－70％，使得普通電腦能夠得到超高配置電腦，才能渲染出的VR圖像效果，對VR/AR硬體平民化、平價化有著重要的推動作用。

眼球追蹤與注視點渲染

眼球追蹤技術從醫療研發而始，本意是幫助那些，不能用手進行鍵盤操作的病人，用眼睛來操作電腦。老牌眼球追蹤廠商德國SMI，與瑞典Tobii集團就是醫療研發起家，而中國眼球追蹤企業七鑫易維的漸凍人眼控輸入系統，也是其業務重要組成部分。

雖然市面上的眼動追蹤公司不少，但是目前相關技術原理相差不大。常見原理有：1、主動投射紅外線等光束，到虹膜來提取特徵；2、根據眼球和眼球周邊的特徵變化，進行跟蹤；3、根據虹膜角度變化，進行跟蹤；這三大類。

上圖即為方法1的簡單原理示意，光源照在人的眼睛上，通過瞳孔和角膜反射的光斑，被攝影機捕捉到，辨識瞳孔和角膜，並記錄下眼睛移動軌跡，得到眼動數據。依靠圖形處理和追蹤算法，來計算出視線矢量，從而得出使用者正在看的東西，以及觀看時間。

這項技術允許用戶使用眼球控制輸入，但是由於人眼視覺軌跡較為跳躍，目光分散，所以在精準度方面，還是不如鍵盤滑鼠輸入。不過由眼球追蹤衍生出的注視點渲染技術（Foveated Rendering，又稱視網膜中心渲染技術）對VR來說意義重大。

人眼觀看世界時，是選擇性聚焦的，即眼神聚焦中心是清晰的，其他地方則逐漸模糊。

而現有的VR技術，則是全局清晰渲染的，電腦會把所有的場景都清晰地渲染出來，讓用戶去觀看，過程中很大一部分，清晰的像素都被浪費掉了。這樣的全局渲染給電腦運算，帶來很大的壓力，用戶需要配備極高性能的顯卡，才能得到畫面優秀的VR系統。

注視點渲染技術，能讓系統只清晰渲染眼神聚焦中心的圖像，注視點近周的圖像進行逐層模糊，降低了顯卡與CPU的負載，節省了運算資源，使得中低等配置的電腦或一體機，能夠得到高配硬體，才能渲染出的圖像效果。

在筆者的採訪過程中，瑞典Tobii和中國七鑫易維，分別給出的優化數據是「降低CPU負載30％－70％」，以及「節省50％－80％像素，CPU運算速度提升5－7倍」。

此外，這項技術還能應用在數據採集方面——如心理學中的測謊、市場行銷中的產品設計、廣告效果反饋等——以熱力圖形式反饋用戶目光關注重心，優化重點區域。

前文提到的七鑫易維已和中國某家裝公司，合作開發了VR看房項目，可記錄用戶視覺關注重點區域；而MIT出身的德國初創團隊Pupil Labs，也曾推出過基於其眼球追蹤硬體的，視覺熱力圖監測系統。

（七鑫易維與中國某家裝公司合作開發的VR看房數據收集項目）

（Pupil Labs的視覺熱力圖監測系统）

行業格局：國際上的玩家

正如前文所說，眼球追蹤技術從醫療研發而始，經歷了數十年的發展，已經被應用在了醫療、手機、電腦、平板、甚至汽車等不同設備上。

視覺類技術，對於VR行業的重要性毋庸置疑，不斷升溫的眼動追蹤，將成為影響VR行業發展的又一關鍵技術，因此本文將集中關注為VR領域，提供眼球追蹤技術的企業。

眼球追蹤技術與其他VR科技公司不同，一方面，公司數量相對較少，而且遍布世界各地，並不集中在矽谷園區；另一方面，眼球追蹤配件普遍售價高昂，比如七鑫易維推出的HTC Vive眼球追蹤模組aGlass，其京東眾籌價就為RMB 3000元。以下是世界範圍內7家國際上的廠商：

1、SMI——老牌德國眼球追蹤企業

德國企業SMI全名Senso Motoric Instruments，其歷史要追溯到1991年，SMI從柏林自由大學學術醫療研究院剝離出來，獨自成立眼球追蹤技術公司，迄今已經有超過25年的發展歷史了，與高通、英偉達、Lumus等都有合作，並與晶片巨頭英偉達，一起推出了可達250Hz的幀率的準確、低時延眼球追蹤VR顯示幕。

目前SMI旗下產品，包括針對企業與研發機構的眼球追蹤設備/應用、醫療醫療眼控輔助設備、手機、電腦、VR設備等的眼控技術支持、並且已經推出了Oculus套件、HTC Vive套件等。

在2017 CES上，SMI還推出了名為Social Eye的VR應用，通過追蹤VR頭顯佩戴者眼球動作，使得虛擬角色可以凝視，使眼色，眨眼睛來表達感受。

2、Tobii——瑞典上市集團

Tobii集團於2011年8月成立，經過了15年的發展後，目前有700名員工，其中1/3在研發部門工作；總部設於瑞典，在美國、中國、日本、德國、英國、挪威等地都設有分部。

2015年4月在斯德哥爾摩證券交易所納斯達克板塊上市，上市前融資金額約為7千萬美元，目前市值約為7.5億美元（67億克朗），與華為、戴爾、宏碁等都有合作，並與Starbreeze公司一起推出了5K畫質和210度FOV的StarVR頭顯。

Tobii集團旗下有三個主要業務部門：Tobii Dynavox、Tobii Pro、和Tobii Tech；分別研發生產醫療眼控輔助設備（主要業務）、針對企業與研究機構的精密眼動儀、以及為針對消費者的電子產品（電腦、手機、VR頭顯、PC遊戲等）提供眼球追蹤技術。

Tobii集團於2016年12月底，完成了一筆5千萬美元的融資，專門用於投資VR和智慧手機方面的眼球追蹤技術。

（圖上為2017 CES上的獲獎眼球追蹤設備Tobii Dynavox PCEye Mini with IS4）

3、Eyefluence——2016年底被Google收購

Eyefluence為矽谷公司，成立於2013年，聯合創始人為Jim Marggraff和David Stieher，其中Jim Marggraff畢業於MIT。其A輪融資為760萬美元，英特爾是唯一的投資者；2015年11月完成了1400萬美元的B輪融資，由摩托羅拉風投領投，兩輪融資共計2160萬美元。

Eyefluence的眼球追蹤系統iUi，可透過追蹤用戶眼部運動，來實現系統操作，例如瀏覽照片、移動光標、操控物體等。本次收購後，Google將獲得Eyefluence的18項專利，其中就包括眼球追蹤，UI 交互，以及生物辨識安全掃描等。

4、The Eye Tribe——2016年年底被Oculus收購

丹麥公司The Eye Tribe成立於2011年，創始人是哥本哈根資訊技術大學的4名前博士生，已經完成了300萬美元的融資，並獲得丹麥政府的230萬美元，高新科技研發經費。

目前The Eye Tribe的團隊有16人，專注於開發適配不同平台的眼球追蹤軟體及應用，其中就包括了注視點渲染技術，以及一款Tracker Pro眼球追蹤裝置開發者工具包，夠為智慧手機和虛擬現實頭盔，嵌入基於眼球注視的介面。

5、FOVE——內置眼球追蹤的VR頭顯

日本初創企業FOVE，專注於研發帶眼球追蹤功能的VR頭顯，於2014年6月加入了微軟加速器。2015年年中，FOVE在Kickstarter上眾籌到了48萬美金，幾乎是其目標的兩倍；而在2016年，這家公司拿到了1100萬美金A輪融資，由日本遊戲公司Colopl旗下的VR基金領投。

在2017 CES上，FOVE公司聯合創始人兼CEO小島由香宣佈，公司首款內置眼球追蹤，及注視點渲染技術的VR頭顯FOVE 0，將於2017年1月向消費者發售，售價599美元。

FOVE 0具備120fps的紅外線眼動追蹤系統，支持單個四倍高畫質OLED顯示幕，解析度達2560×1440（單眼為1280×1440），刷新率為70Hz，視場為100FOV。

6、Pupil Labs——來自MIT的德國初創團隊

Pupil Labs為德國初創團隊，成立於2013年，目前團隊有9個人，兩個創始人Will Patera和Moritz Kassner（CEO）都來自MIT。

其產品包括移動眼部追蹤頭戴設備（非VR頭顯）Pupil Pro、HTC Vive眼部追蹤套件、Oculus套件、120Hz眼球相機等，以及配套的軟體及應用（如上文提到的，2014年具備視覺熱力圖監測功能的Pupil播放器系統）。

7、SyncThink——或許會朝VR發展的醫療眼球追蹤公司

SyncThink是一家，專注於神經科技技術的美國公司，由史丹佛腦震盪和大腦性能研究中心（Stanford Concussion and Brain Performance Center）主任賈姆什德·加扎爾博士創建。

在2016年年初，公司推出了首部移動醫療設備EYE－SYNC，透過追蹤眼動數據的異常，來檢測運動員在比賽期間，或結束後是否發生腦震盪。

該公司在2016年年底，獲得了美國專利，和商標授權局授予的另一項專利——在VR頭戴設備添加眼動追蹤功能，未來的VR眼球追蹤廠商，或許將會又多一玩家。

8、其他

此外，曾與SMI合作的晶片巨頭英偉達，也推出了類似注視點渲染技術的MRS（Multi－Resolution Shading）多解析度渲染技術，焦點區域會以完整的高解析度進行渲染，邊緣則以更低解析度進行渲染。

但是英偉達的MRS技術，是以螢幕中心為聚焦點，也就是說認為頭是轉動的而眼睛是不轉動的，當眼睛轉動的時候，會出現清晰度偏差。

而三星、微軟、蘋果等也陸續被報導，已經申請的VR/AR眼球追蹤技術相關專利，早在2013年，以眼動遊戲出身的以色列創業公司Umoove，就曾為三星Galaxy S4，提供眼球追蹤技術支持。

類似SMI、Tobii前身的眼動儀公司也不少：如美國應用科學實驗室（ASL）、加拿大SR Research公司、法國的Metrovision公司、美國Fourward光學技術公司、荷蘭SKALAR公司等。這些公司手握核心技術、具備數據累積，但是否會涉足VR/AR領域，我們還不知曉。

行業格局：中國玩家

中國研究眼動追蹤技術的廠商相對較少，涉及VR/AR的只有一家：

1、七鑫易維——中國VR眼控獨苗

七鑫易維於2009年3月成立，創始人兼CEO為黃通兵。早年聚焦研發的醫療類「全能眼」等視控看護系統，適用於漸凍人、行動存在障礙的病患等小眾群體，曾在2013年獲得了中國醫師協會在人民大會堂的頒獎。

公司後期逐漸將業務，延伸到VR眼球追蹤配件領域，曾於2014年12月獲高通創投Pre－A/A輪融資（2014年高通紅杉行動網路創業大賽中第2名），2016年獲得高通創投、中興創投等的B輪融資，2017年將會有新的融資動向。

七鑫易維在2016年陸續推出過Oculus、HTC Vive眼球追蹤配件，其中為HTC Vive的VR眼控模組配件aGlass，於2016年11月2日於京東眾籌正式上線，眾籌價3000元人民幣。

目前公司有三個主要產品方向：全能眼溝通輔具、VR眼球追蹤模組、眼動儀。

其中VR眼球追蹤模組aGlass的主攻的方向，分別為注視點渲染、數據收集、以及眼控交互功能。aGlass的追蹤範圍達到了垂直30°、水平50°，可以覆蓋FOV大於110°的主流VR設備，高精度達到國際水平＜0．5°，追蹤速度為120Hz－380Hz，延遲低於5毫秒。

結語：VR頭顯的「下一個重大突破」

作為與「看」息息相關的技術，眼球追蹤自然是VR巨頭們的兵家必爭之地。

不過需要再次強調的是，眼動追蹤暫時還不足以，作為直接輸入設備使用。但它能夠優化圖像渲染，降低CPU計算負載，優化頭顯的佩戴舒適度，因此常有VR頭顯技術的「下一個重大突破」之稱。

目前，橫亙在眼動追蹤面前的最大難題是——普適性。Tobii Tech總裁Oscar Werner先生告訴筆者，想要完成對一個人的眼動追蹤很容易，但讓同一個系統，完成對所有人的眼動追蹤很難；頭部動作、光影、眼球活動範圍、種族等問題，都會造成影響。普適化的過程，需要大量的實驗數據累積，而這也是眼動技術發展較為緩慢的原因。