隨著虛擬實境技術的演進，現在已經有越來越多的場景我們可以看到虛擬實境技術的出現。電視行業就是其中之一：去年的世界盃，今年的春晚我們都可以看到虛擬演播室在直播節目中的出現。
這次閱兵，我們同樣可以看到北京電視臺也採用了虛擬演播室技術：觀眾可以看到，主持人一邊解說，虛擬的武器裝備就會在他身邊出現，生動形象的向觀眾展示了我軍裝備的威武雄壯，而不是乾巴巴的文字或者圖片描述。
虛擬演播室技術，實際上可以說就是增強現實技術的一個子集。它同樣涉及到增強現實中，如何將虛擬的元素和真實的場景疊加在一起的問題。不過，增強現實是要讓最後的畫面呈現在使用者的眼睛裡，而虛擬演播室則是將畫面呈現在電視的螢幕上。
所以，它的技術重點和增強現實是一樣的：
第一是如何能夠精確地定位真實的場景；
第二是如何能夠渲染出虛擬的元素；
第三是如何即時地將虛擬的元素疊加在真實的場景上，然後返回到視訊流中。
在這裡，最難的是如何將虛擬元素和真實的元素進行疊加。
攝影機一旦運動，真實的場景和虛擬的元素都必須同步配合這個運動。電視攝影的幀率是50FPS，也就是說，引擎需要每20ms就渲染出一幀，這是一個相當高的要求。所以，系統內就應該要包括攝影機的工作狀態，包括位置和視角等等，虛擬引擎才能夠渲染出相對應的畫面。
（虛擬演播室）
於是，這裡可以得到一個虛擬演播室的系統流程：
第一步的工作是採集攝影機的工作狀態資訊，最重要的是攝影機的位置和它與真實場景的相對關係；然後將這些資訊傳送給圖形工作站。
第二步則是依此得到前景物體與攝影機之間的距離和相對位置，從而計算出虛擬元素的大小、位置，並渲染生成虛擬元素。
如果虛擬元素涉及到虛擬人物（比如世界盃節目裡的虛擬球員，或者春晚上的陽陽），則往往還要涉及到動作捕捉系統：用真人的動作即時的驅動虛擬角色的動作，然後呈現出來。
第三步，虛擬演播室系統會將主持人的即時畫面地與電腦產生的虛擬元素集成在一起，構成一個現實中不存在的場景，並且即時向觀眾進行廣播。
一般而言，這裡會採用我們在電影花絮中常見的綠幕來遮蓋一切我們不想讓它出現在最後畫面中的場景元素，在專業中，這叫做“色鍵”。然後電腦會將相應的顏色全部摳掉，將虛擬場景集合上去，最後就呈現出我們這次會在閱兵直播中看到的，威武雄壯的導彈發射車出現在主持人的旁邊。
虛擬演播室可以說是增強現實技術在商業上的應用，而且已經能夠在商業直播中成熟運用了。
不過增強現實本身，還有很長一段路要走——因為消費者意義上的增強現實眼鏡要解決很多虛擬演播室所沒有的困難：
第一，虛擬演播室會是在一個有控制的場景中應用。
有專門的設備採集攝影機的位置和場景本身的位置，而增強現實眼鏡則需要在大範圍內應用，這就需要時下電腦視覺中非常火熱的技術領域SLAM（Simultaneously Localization And Mapping，即時場景測量與建模）來幫助增強現實眼鏡“看到”並且“理解”周圍的環境。
Google的Project Tango正是為了解決這個問題而開發的專案。
（谷歌的Project
Tango項目）
第二，移動的VR眼鏡所可能具備的計算能力，要遠遠小於虛擬演播室技術中的商業級別工作站。
所以其在高幀率下渲染虛擬元素的能力必然遠遠不如虛擬演播室，增強現實眼鏡的虛擬畫面必然不會像虛擬演播室那樣豐富和逼真。
第三點是，增強現實眼鏡的畫面最終是要投射到用戶的視網膜中。
所以想要符合人體的視覺系統特質，顯示裝置要具備的能力會大大不同於普通的螢幕：讓人感覺到虛擬與現實的融合，顯示幕需要與人眼球的焦點匹配顯示虛擬元素的能力，目前只有微軟的HoloLens讓人信服地展示了這一種能力，而他們使用的是全像顯示螢幕。
有趣的地方在於，在今年E3微軟的發佈會上，微軟使用了虛擬演播室的技術展示了HoloLens最終可以達到的效果——可能這個發佈會上也是虛擬演播室能達到的最好效果。微軟同樣使用了複雜的攝影機追蹤技術，讓觀眾信服的展示了HoloLens的增強現實。
（微軟的HoloLens）
所以，未來的增強現實下的閱兵會是怎樣的？按照慣例，中國下一次大閱兵將在2019年舉辦。我想，那時的閱兵就會有增強現實的參與了——觀眾將能夠即時的使用自己的增強現實眼鏡，或者在螢幕上看到威武雄壯的部隊，伴隨對其武器裝備的介紹，細節放大，甚至拆解……我們看閱兵也將不限於現場或者電視機前這僅有的兩種姿勢，而也可能能夠使用虛擬實境的方式身臨其境。技術的演進讓我們拭目以待。
0 comments:
張貼留言