隨著近段時間Magic Leap在科技圈引起熱議，其中「光場成像」是Magic Leap的成像原理的技術核心，在這個火熱的背景下，Lytro、蟻視科技等AR/VR硬體公司也紛紛跳出來推銷他們自己的「某某光場」。噢，對了，Magic Leap號稱是「數字光場」，蟻視科技號稱是「複眼光學技術」其實本質上都是「四維光場顯示技術」。
理解這麼高大上的玩意兒之前，我們先來進行幾個枯燥乏味的百科科普。
什麼是光場?
（圖1. 光場的四維參數化）
根據目前查到的文獻，官方說法是“光場(light field)的定義，最早可以追溯到1846年法拉第給出的定義，就是巴拉巴拉巴拉巴拉巴拉...光線攜帶二維位置資訊( u，v) 和二維方向資訊( θ，φ) 在光場中傳遞。根據Levoy
的光場渲染理論，空間中攜帶強度和方向資訊的任意光線，巴拉巴拉巴拉巴拉巴拉...”(反正我摘錄出來，具體內容我們這種小白也看不懂對不對?)
簡單的說，光場是空間中同時包含位置，和方向資訊的四維光輻射場的參數化表示，是空間中所有光線光輻射函數的總體。其兩個主要應用方向是光場拍攝和光場顯示，第一種需要記錄下來整個空間的所有資訊，第二個則是需要將這些資訊完整地複現出來。用小編我能理解的話就是在空間內任意的角度、任意的位置都以獲得整個空間環境的真實資訊，用光場獲得的圖像資訊更全面，品質更好。
（圖2. 人眼視覺成像示意圖）
還是很迷糊對不對，So.我們還是來看大神對小白是怎麼耐心又富有同情心的解釋的吧。
“理解這個光場之前，你需要先理解下我們現在看到的這個世界。簡單的說，我們看到的世界是由物理的反射光線射入我們的眼睛以後，通過晶狀體的折射等等，最終在我們視網膜成像，之後視網膜把這些電信號通過視覺神經轉化給大腦。
而我們在看不同物體時，我們眼鏡的晶狀體會隨時調整厚薄程度來使物體更清楚，進行對焦。簡單的說，就是當物體靠近時，我們人的瞳孔會進行收縮，類似於相機調小光圈減少光強，睫狀肌收縮，使晶狀體屈光度更大，讓視網膜接受到清晰的實像，反之亦然。
而這個過程，隨著人類上百萬年的進化，隨時對焦已經成為了人類的一種本能，而隨之進化出來的防抖技能(學術名稱Vestibulo-Ocular Reflex, 前庭視反射，簡稱 VOR)，更是讓我們幾乎感覺不到中間切換時的畫面抖動和模糊效果(當然，你要是傻傻的以每秒搖擺三次頭的頻率去嘗試，中間畫面切換時還是會有模糊的)。也就是說，我們人眼看真實世界的時候，眼睛落到不同物體或者不同的點上時，焦點、焦距都是不同的。
即我們眼中看到的清晰的世界，在一個時間內，只是類似於一個確定焦點的二維圖，跟現在通用相機拍出來的照片差不多，焦點部分是清晰的(就是我們盯著看的地方是清楚的)，背景部分則是虛化的(就是除了盯著的中心區域以外，眼鏡餘光部分全部是模糊的)。
而整個空間環境則是由無數個這樣的二維畫面疊加融合而成，融合後的畫面會包含各個“焦點”在特定時刻的各種空間資訊和位置關係。而光場，就是要真實的記錄跟復原類比出來這個空間。使我們跟真正在這個空間中的任何位置一樣，能從任意角度看到對應的‘無數個這樣的二維畫面疊加融合’而成的畫面。
用不太準確的比喻的話，就是把你眼前的立體世界加一個軸，然後按照這個軸切片，你看到的所有畫面都是這一堆切片裡面的某一張。Lytro、Next VR以及穀歌的Google
Jump，德國公司的Raytrix等等，他們所針對的方向就是如何將這個空間的所有資訊完整的記錄下來，而Magic Leap、蟻視要做的則是怎麼把這些內容複現出來。”
（圖3. Next VR設備示意圖）
針對獲取光場，無論是Next
VR方案、Lytro相機，還是Google Jump等，大體的方案主要有三大類型：
微透鏡陣列解決方案
相機陣列方案
掩膜及其他孔徑處理方案
（圖4.普通相機原理）
第一種微透鏡陣列方案。
過細小的微透鏡單元來記錄同位置不同角度的場景圖像，從而在現有的普通成像系統基礎之上，通過對現有相機一次像面地方加入微透鏡陣列的簡單改造，從而獲得一個四維光場。代表公司有Adobe 公司2011年爆出的光場相機鏡頭。
（圖6. Adobe公司光場相機鏡頭）
在Adobe公司光場相機鏡頭的方案中，類似於昆蟲複眼的設計，每一個單獨的鏡頭在圖像解析度等方面與傳統鏡頭並無優勢，而且由於鏡頭外接，甚至會引入新的像差等問題需要處理。但原始圖像經過Adobe公司對應的軟體分析處理之後，就會獲得一個多層的三維類比圖像。
第二種辦法是相機陣列。
代表方案有斯坦福大學Marc
Levoy教授1996推出的128 相機陣列方案、Isaksen 單相機掃描方案、MIT 64 相機陣列方案、卡耐基—梅隆大學的“3D Room”方案等。該方案是通過相機在空間的特定排列來抓取一組不同的圖像，然後通過特定的計算方式將這些場景重構，從而獲得廣場。用這種方案獲得的圖片可以包含很多直接的資料資訊，而且在合成孔徑成像、大視角全景成像方面具有優勢，但128、64相機陣列...想想小編都覺得密集型恐懼症。
第三種就是掩膜及其他孔徑處理方案了。
此類方案的代表有Veeraraghavan
光場相機等，這一類方案都是針對相機的孔徑來做文章，通過有規律的調整孔徑及光強等來獲得一系列照片。這組照片的頻域分佈會跟光場資料基本吻合，通過對應的資料處理，可以反推得到四維光場資訊。這種方案實行起來硬體方面較容易實現，但在軟體資料轉換方面則需要針對性的處理。
但實際上隨著近年硬體成本降低和成熟，光場獲取方案這邊目前更多是傾向於大尺度的大型相機陣列和小尺度的光場顯微鏡。但目前所有的光場相機方案在圖像空間解析度與軸向解析度兩者之間都尚不能做到較好的兼顧，限制圖像空間解析度和軸向解析度增長的硬體瓶頸、處理瓶頸等等成為光場獲取目前最大的問題。
而針對如何把光場複現出來，主要的方向有：
計算成像方向
數字重聚焦方向
第一種計算成像方向是將相機的光學系統抽象成四維光場的不同軸面資料，然後通過計算光輻射量、光瞳函數等得到整個光場的數位資訊，然後數值積分近似求解，就可以基本數位復原出整個光場，這些圖像的數位資訊可以直接通過相應的顯示裝置來展示。
（圖7. 數位重聚焦原理圖）
第二種數字重聚焦方向，小編暫時仍未理解，只知道是過獲取重聚焦目標物所在的圖像平面，計算其接收到的光輻射量，再通過傅裡葉切片定理推論，來重建不同焦距處的圖像。
然而不管是那種成像方法，獲得這些光場的數位資訊以後，都需要相應的顯示裝置才可以展示。但目前能夠真正實現我們在光場中移動，圖像也會隨之變化，感受起來就像在一個真實的世界中行走這種效果的設備，目前還不沒有太成熟的成品，期待VR設備能夠儘早的解決這些問題吧。
0 comments:
張貼留言