圖片來源：fastcompany
Magic Leap一直對他們的技術的工作細節保密。我們現在僅僅知道他們的系統是一個全新的系統，並且遠超一切消費者熟知的現存競爭對手。這也難怪Magic Leap想要為自己革命性的系統保密。眾多的企業都在伺機窺探，想要瞭解究竟是什麼技術，讓人們如此的興奮。
這種技術，聽上去就是Apple想要擁有的，那種潛在的革命性的帶有真正創新意味的「新事物」；也是微軟在Hololens上想要努力實現，卻又遠未實現的。它受Google Glass的啓發，卻又明顯領先幾代的。
這個技術到底是什麼，它究竟是如何工作的？我調查了在Magic Leap工作的人所做的演講、專利、工作申請和他們的背景，試圖尋找這個問題的答案。
總體來說
這是常規大小眼鏡。但相機又往哪放呢？注：這可不是Magic Leap的產品。
在談論細節之前，我們先總體上談談這是個什麼技術。簡單說，Magic Leap在做一個設備，這個設備能把物體投影到人的視場，而且真實得遠超我們現在所見的其它類似設備。
Magic Leap的設備由兩部分組成：一副眼鏡和一個便攜的口袋式投影儀/計算模組。這模組是差不多手機大小的，沒螢幕的長方體。這個便攜式計算模組透過數據線連接眼鏡。眼鏡與普通眼鏡，有著類似的尺寸和結構，也許稍胖一點點。
體積小，是該產品的一個重要特徵。體積小意味著該產品可以在社交場合裡佩戴使用，也許有可能會像智慧手機一樣地便攜易用，隨處可用。
體積小，是該產品的一個重要特徵。體積小意味著該產品可以在社交場合裡佩戴使用，也許有可能會像智慧手機一樣地便攜易用，隨處可用。
便攜式投影和計算模組
如圖所示，一個與Magic Leap便攜模組大小類似的充電寶。
Magic Leap最突出的，是能把一大部分必須的硬體設備從眼鏡本體上拆除，放在另外一個獨立的模組中。HoloLens，剛好相反，其顯著地削減了頭戴設備中，各個組件的尺寸，但也只能做到現在的程度。那便攜模組裡面都有些什麼呢？可能有如下部分：
‧電池
這塊電池的容量，大約相當於現在的智慧手機，也許還得再多點。如果要替代智慧手機，那更得是相當牛的一塊大電池。估摸著差不多至少得5000毫安時。
‧CPU/GPU
肯定要用最新一代的移動CPU。估計會用高通的。幸運的是，他們應該用不到高端圖形處理，因為混合現實（Mixed Reality MR）只需要渲染局部，不需要渲染整個場景。這樣就避免了虛擬現實（Virtual Reality VR）所需的高強度圖形處理。
‧內存
跟智慧手機差不多，估計3-4GB。
‧訂製的SLAM晶片
這個是把虛擬物體，擺放到真實世界所必需的。他們可能會自己流片（Tape Out），或者採用Movidius或其它類似的晶片。
‧4G/Wifi/藍牙
‧SIM卡
‧GPS晶片
‧相機
眼鏡上肯定要有一堆相機，但這並不意味著便攜模組，就可以沒有了。頭戴設備上的SLAM相機，跟普通數位相機是不同的。眼鏡的體積有限，可能容不下一個高功耗的相機，只能放進便攜模組。這樣設計的好處是可以減輕他人對隱私侵犯的擔憂，沒有便攜模組只有眼鏡的話，沒法拍照。
‧雷射投影儀
這是該設備最主要的創新。把投影系統從眼鏡上拿走，挪到便攜模組上，使得產品的體積顯著縮小。投影的光由便攜模組生成，然後透過光纖傳導到頭戴設備。後面我們會詳細分析一下其工作原理。
眼鏡
當我們盡可能把所有東西都塞進便攜模組之後，眼鏡上剩下啥了？眼鏡上得安裝如下組件：
- 慣性測量單元（IMU）
就是常見的加速度傳感器、陀螺儀和指南針。
- 耳機
也許會用Google Glass上的那種骨傳導耳機。這要看他們的設計思路是不是要與身體相協調。骨傳導的優勢，是你既能聽見耳機播放的音樂，同時聽到其他的聲音。
- 麥克風
- 光學部分
- 相機
光學部分和相機是最有趣的組件，我們詳細分析一下。
光學部分
根據專利文獻，Magic Leap使用的光學設備，比HoloLens和Google Glass使用的傳統投影系統小很多。
如上圖所示，光源是與頭戴設備的主體分離的，這就是為什麼我們可以推測光源在便攜模組中。
其次，該設備的鏡片系統也非常小。示意圖雖然明顯不是等比例繪製，但也一定表示相關元件的大致尺寸。我們唯一真正看到的元件是鏡片。比較圖中上側的5、6、7、8元件和鏡片的寬度，我們不難看出相對大小。
這說明什麼？他們怎麼能把光學部分縮小這麼多，同時還號稱能實現光場顯示、高分辨率和驚人的視野？答案包括兩部分：光纖掃描顯示與光子光場晶片。
光纖掃描顯示
光纖掃描顯示是從未在消費電子產品中，使用過的全新的顯示系統。我們只能透過其2013年的，專利申請文件進行瞭解。這份專利申請文件有些日子了，所以關於系統性能的一些細節可能已經不準確了，但基本概念應該還是一樣的。
該系統使用一組致動光纖，來掃描輸出遠大於其數值孔徑的圖像。這就像老式的顯像管電視，只不過不是掃描輸出電子到螢幕，來激發螢光粉發光，而是直接掃描輸出光。掃描是通過壓電致動器來實現的。
掃描頻率保持在大約幾十kHz。但實際圖像刷新率，並沒有那麼高。因為需要多次掃描（專利裡面舉例如250次）才生成一整幅圖像。這完全改變了我們對於解析度的概念。
這個技術的圖像解析度，取決於光纖的掃描頻率，光纖可以匯聚的最小光斑尺寸（這決定了像素大小），生成一幅圖像，所需的掃描次數和刷新幀率。考慮到專利申請之後，他們對於該技術的進一步優化，其解析度應該遠超現有的消費電子產品。
掃描頻率保持在大約幾十kHz。但實際圖像刷新率，並沒有那麼高。因為需要多次掃描（專利裡面舉例如250次）才生成一整幅圖像。這完全改變了我們對於解析度的概念。
這個技術的圖像解析度，取決於光纖的掃描頻率，光纖可以匯聚的最小光斑尺寸（這決定了像素大小），生成一幅圖像，所需的掃描次數和刷新幀率。考慮到專利申請之後，他們對於該技術的進一步優化，其解析度應該遠超現有的消費電子產品。
一組光纖掃描單元緊密排列為一束來增加顯示的尺寸。每根光纖掃描單元的寬度為1mm。
除了分辨率和幀率，一個寬廣的視場（Field of View, FOV）同樣也是顯示逼真的全像圖像的關鍵。關於這一塊，專利的背景資訊部分有一段很有趣的描述。
頭戴顯示器（Head Mounted Display, HMD）的視場可以由微型顯示器的圖像尺寸，和觀察光路共同決定。人類的視覺系統的視場，水平大約200°，垂直大約130°。但大多數頭戴顯示器，僅僅提供了40°左右的視場…… 大約50-60弧秒的弧度解析度代表著20/20的視力表解析度（譯者注：視力測試標準中正常人眼較高的成績，參見WIKI維基百科）。而弧度解析度，是由微型顯示器的像素密度決定的。為了匹配一般人的視覺系統，頭戴顯示器應在水平40°、垂直40°的視場內提供 20/20 視力表解析度。以50弧秒計算，相當於八百萬像素（8Mpx）。如果把視場拓展到水平120°、垂直80°，則需要五千萬像素（50Mpx）。
這裡談到了兩件事。第一，消費級顯示器的解析度，遠遠小於大視場所需。這就是為什麼HoloLens想要增大視場的話，如此艱難。第二，這顯示出Magic Leap的野心。他們想提供一個水平120°、垂直80°的視場。
這個視場比Oculus Rift的視場還大，同時解析度也遠超。他們有沒有實現呢？現在還很難說，但至少專利裡面，已經提到了一些技術參數，同時不要忘了這些還是三年前的數據。他們很有可能已經改進，提高了這個技術。
像素間距是從一個像素中心，到相鄰像素中心的距離。它限制了圖像的解析度。傳統的微型顯示器，例如HoloLens所用的，其像素間距在4-5微米。像素間距限制了這些顯示器的解析度，也因此限制了生成的視場。專利申請文件表明，掃描式光纖顯示器能夠生成0.6微米的像素間距，提升了一個數量級。
那究竟能達到什麼解析度？專利裡有一段提到一個4375x2300分辨率，但我覺得還不止。這是在描述基本方法時，舉的一個例子，後面還討論了多核光纖對於性能的提升。我認為其解析度會遠遠高於該解析度。這對於寬廣的視場是至關重要的。
最後專利提到120°視場的這句特別值得注意：
以上所述技術，可以用來製造具有寬廣視野的頭戴式，或其他近眼顯示方式的超高解析度顯示器。
我認為這充分驗證了，其視場將至少大於40°，接近其宣稱的120°也並不是不可思議的。要我下注的話，我賭90°。
光子光場晶片
第一次聽說Rony Abovitz，給他的鏡片起名叫「光子光場晶片」，我都鬱悶了。別總給這些早就有的東西，起一些不著調的名字了。就叫它Rony鏡片就好了。但隨著我逐漸加深理解，它還真不是一個簡單的鏡片。它究竟是幹什麼的，為什麼它比其他鏡片更有意思？我們先來瞭解一下衍射光學元件。
一個衍射光學元件的例子
可以把衍射光學元件（Diffractive Optical Elements, DOEs）想成是一組非常細的鏡片。他們可以用來整形、分光、勻化、擴散。
Magic Leap使用帶有圓形鏡片的，線性衍射光柵來分光，並生成特定焦距的光束。就是說，它把光導入你的眼中，並讓這些光，就好像是從一個正確的焦平面，發射出來的一樣。常言道，說起來容易做起來難，但這個說起來都難。至少我找到的專利文件是這麼寫的。
為了生成光場，Magic Leap使用兩個分立的元件，配置了一個光子晶片。一個元件（原理圖中的6）提取投影光，並將其插入第二個元件（原理圖中的1），第二個元件將光導入人眼。
這兩個元件，都是使用DOEs來完成工作。DOEs的主要問題在於，他們經過精心調試，只能用來進行一個特定工作。他們不能工作於不同的波長，不能即時改變到不同的焦點。
為瞭解決這個問題，Magic Leap堆疊了一組，針對不同波長和焦平面優化的DOEs，作為一個大鏡片組來用。這些DOEs都非常的薄，跟光的波長在一個尺度，所以加在一起也不會讓設備變得太厚。
這就是為什麼這個光學系統，被稱為晶片。Magic Leap能夠開關DOEs的不同層。這樣，他們可以改變光，到達人眼所使用的路徑。這就是他們如何改變圖像的焦點，來形成一個真實的光場。就像專利裡面說的：
例如，當打開一組DOEs裡面的第一個的時候，對於一個從正面看進來的觀察者，可以產生一個光學觀察距離1米的像。一組裡面的第二個DOE打開時，可以生成一個光學觀察距離1.25米的像。
你可能覺得這個技術很局限，尤其是當你需要一大堆層，來產生各種不同焦點的像的時候……但還真不是那麼回事。不同的DOEs的組合，可以產生不同的輸出。並不是一個DOE對應一個焦平面，而是一個DOEs組合對應一個焦平面。
改變DOEs組中的激活層，就會改變從光子光場晶片射出的光。
他們很有可能有比圖中多得多的層，但具體多少層就天知道了。
最終，我們明白了Magic Leap怎麼實現，其過去宣稱的用光來製造暗了。我們分別使用一個外側的DOE，和一個內側的DOE就可以像主動降噪耳機一樣，抵消外界的光。專利裡面是這樣說的：
這可以用來抵消類似於背景光，或真實世界光的平面光波導，在某種程度上，類似於主動降噪耳機。
那，為什麼這是一個晶片？呃，一個典型的電子晶片，基於某種條件改變電子的流向。Magic Leap的光子光場晶片，基於某些參數改變光子的通路。我覺得也算是一種晶片了。
我們還缺什麼？我們有了光子光場晶片，有了高解析度投影，但如何構造一幅圖像。這個是靠組合。圖像是分層繪製的，以便讓不同的組件，投影到不同的焦距的子圖像上。就是說，每一幀都是透過多次掃描來構建的，每一個焦平面都是分別繪製的。
相機
Magic Leap試圖在相機上，實現三個功能。第一個是最明顯的，一個能生成日常圖像的相機。這是他們所使用的最容易理解的相機技術，他們也許就是用一個智慧手機市場上，最新的類似傳感器。這個相機是放在眼鏡上，還是便攜模組上，仍不可知，但總要有一個能拍照片的。
其他兩個功能很有意思。Magic leap反覆提到，其設備具有理解周圍世界的能力。在一個採訪裡面，提到該設備能辨識物體，例如刀和叉子。要想做到這個，他們需要一組相機。
我們可以看看這方面，做得不錯的HoloLens。HoloLens有一組四個環境感知相機，和一個深度相機。從Magic Leap的專利文檔中，我們能得到進一步確認。
我們可以看看這方面，做得不錯的HoloLens。HoloLens有一組四個環境感知相機，和一個深度相機。從Magic Leap的專利文檔中，我們能得到進一步確認。
原理圖上顯示的是眼鏡左右鏡腿上的兩個元件。上面是左邊鏡腿的，下面是右邊鏡腿的。
由以上原理圖，我們可以發現兩個向外的相機，叫做「world camera」。專利的文字描述暗示，可能不止兩台相機，原文所述為「一個或多個，面向外側或提供世界視角的相機（每側）」。暫時，還不知道具體會有多少個相機，也不知道Magic Leap會把這些元件做得有多小。但我們知道的是，這些要放在眼鏡上，而且對於SLAM非常重要。
最後一個相機的功能，也可以從上面的原理圖中找到。至少要有兩個相機拍攝眼睛。這是用來追蹤視線和眼動，以便獲取焦點和視線方向。同時也會有紅外線LED為這兩個相機提供照明。眼跟蹤對於用戶交互很重要。
我想「你在看什麼」的問題，對於你如何與Magic Leap交互，應該是非常重要的。這將是其主要的交互工具，就像是電腦的滑鼠。
當然，現在，我沒法驗證這些資訊是真是假，但這些加總在一起，確實感覺上就像Magic Leap正在做的東西。不管最後這個產品，會不會在消費市場上獲得成功，這確實是好一陣子沒有見到的，一個技術產業的真正意義上的創新。
我真的無比激動，想要看看他們會有什麼奇遇，同時也期待該產品在業界，會造成什麼樣的影響。
 |
沒有留言:
張貼留言