Makeup Lamps: Live Augmentation of Human Faces via Projection
 |
ifanr
如果留心，可以發現在迪士尼樂園裡，所有的工作人員都被稱為「演員（cast member）」，上崗就是「登舞台」。當然，鑒於歌舞在迪士尼文化中的重要性，一部分員工還是真是傳統意義上的演員，需要大化濃妝，登台唱歌跳舞。
針對後者，迪士尼發佈了一名為「化妝燈（Makeup Lamp）」的新技術。正如其名，這項技術可通過燈光投射，在演員臉上進行「即時化妝」。這樣一來，不止可以減少化妝耗費的時間和成本，還能輕易實現我國國粹——「變臉」。
和其他動態捕捉不同的是，「化妝燈」並不涉及任何物理追蹤標記點，而是透過一台光學和電腦對齊的高速攝影機，來檢測臉部定向和表情，並結合紅外線照明實現。
與之同時，根據反饋資訊，透過一台高速投影肌，將燈光投映在人臉上。「化妝燈」可以給演員畫整體的妝容、增添皺紋、或實現「自動打燈」等效果。
與之同時，根據反饋資訊，透過一台高速投影肌，將燈光投映在人臉上。「化妝燈」可以給演員畫整體的妝容、增添皺紋、或實現「自動打燈」等效果。
在研發過程中，團隊遇到最大的挑戰，就是要盡可能地減少延遲（latency）——指在生成和演員動作，對應的影像和真正實現展示該影像之間的時間。延遲時間越長，投出影像和演員即時表情的切合度就越低。
雖然一定的延遲還是難以避免，但團隊運用了 Kalman 技術，以在捕抓臉部細節的同時，預測下一步的改變，並根據預測結果調節，因而減少延遲。在使用之前，這套技術需要對使用演員的表情進行學習，分辨到底哪些臉部細節才是有意義的。
近幾年來，我們在透過捕捉演員臉部細節，來以轉化為虛擬角色的技術上獲得很大進步。我們的下一步，（應該是）將這些技術運用在增強現場演員的外貌上，它將在戲劇或其它舞台上，轉化為我們眼前驚艷的效果。
團隊主研究員 Anselm Grundhöfer 如此說道。研究團隊在 Eurographics 2017 大會上展示該項技術。
沒有留言:
張貼留言