雙攝影鏡頭構造：
雙攝影鏡頭構造：
高端智慧手機的亮點越來越少，雷兔兔跑分已經無法表現手機的優勢。於是更霸氣的雙攝影鏡頭閃亮登場了。這裡說到的雙攝影鏡頭，並非是像以前的智慧手機，前後各一個攝影鏡頭，而是一共用兩顆後攝影鏡頭，模擬人的一雙眼睛，來實現更多的拍照功能，和更好的拍照效果。
一般來講，目前的智慧手機的攝影鏡頭接口都是MIPI（Mobile Industry Processor Interface）接口。之前手機平台都只有2路MIPI接口，分別給前攝影鏡頭和後攝影鏡頭。
做雙攝影鏡頭，就要求平台至少支持三路MIPI接口。其實在之前的高端平台上，為了實現更高像素，已經用雙路ISP（Image Signal Processing，圖像信號處理器）了，比如為了支持16M的攝影鏡頭，會用2路8M能力的ISP。這類平台很有可能只有2路MIPI，但這個無法阻止工程師去做前單攝影鏡頭+後雙攝影鏡頭。
雙攝影鏡頭應用：
雙攝影鏡頭應用：
那問題來了，雙攝影鏡頭到底能做什麼？
1、雙攝影鏡頭可以測距，可做距離相關的應用
人眼很容易對一個物體的距離進行定位，但當人閉上其中一個眼睛後，定位能力就會下降很多。雙攝影鏡頭就是模擬人眼的應用。
簡單的說，測距離的話，就是通過算法算出，被拍攝物體與左/右攝影鏡頭的角度θ1和θ2，再加上固定的y值（即兩個攝影鏡頭的中心距），就非常容易算出z值（即物體到Camera的距離）。
不過這也很容易推算，若兩個攝影鏡頭中心距過小的話，可計算的物體距離就會很近。若想算出更遠距離，就必須讓左右攝影鏡頭的距離拉遠。
如上圖，由於雙攝影鏡頭通過算法，可以判斷被攝物體的距離，所以通過此特性，很容易做出一些特效，如：
A、背景虛化
單眼相機最出眾的特色之一就是大光圈。由於雙攝影鏡頭可以測出不同被拍攝物體的距離，對需要進行大光圈的物體對準，其他不同距離的物體虛化，可以輕鬆實現大光圈的效果。
（原圖）
（以美女為中心對焦，虛化背景和手上的蘑菇）
（以蘑菇為中心對焦，虛化背景和美女）
B、背景替換
由於可以測量距離，可以將被拍攝物體裡的主體提取出來，更換背景，就可以比PS還簡單，進行摳圖。
C、背景特效
由於可以測量距離，分出主題和背景，所以很容易對背景做任何處理，就不在這裡過多描述。
D、測量距離
這個圖就非常明顯的標識出不同物體的距離，這個距離資訊用不同顏色標識出來。當AP獲得了不同物體的距離資訊，就可以做到上述的各種功能。
2、雙攝影鏡頭可以做光學變焦
光學變焦主要是左右攝影鏡頭，使用不同的FOV（可視角），這樣兩個攝影鏡頭取景不同。當用戶需要廣角照片，則用視角為85度的左攝影鏡頭取景，獲得廣角效果。當用戶需要長焦照片，則用視角為45度的右攝影鏡頭取景，獲得長焦效果。
2、雙攝影鏡頭可以做光學變焦
光學變焦主要是左右攝影鏡頭，使用不同的FOV（可視角），這樣兩個攝影鏡頭取景不同。當用戶需要廣角照片，則用視角為85度的左攝影鏡頭取景，獲得廣角效果。當用戶需要長焦照片，則用視角為45度的右攝影鏡頭取景，獲得長焦效果。
為了使左右攝影鏡頭拍攝的物體重疊度高，光學變焦的雙攝影鏡頭模組，不能像做距離應用的攝影鏡頭的模組那樣距離過大，而是需要將左右攝影鏡頭擺得越近越好。
若兩個Camera的FOV不一樣，一個大FOV，一個小FOV，再通過算法實現兩個光學鏡頭之間的效果，就可以輕鬆做到光學變焦。
若不用雙攝影鏡頭，放大圖片後，文字不清楚
若使用雙攝影鏡頭，放大圖片後，文字依然清楚
此圖就是融合了廣角的圖和長焦的圖，通過算法算出了中間態度照片，讓細節不失真
3、暗光效果增強
一般來講，做暗光增強就是在兩個攝影鏡頭中：一個用RGBG的標準攝影鏡頭，一個用去掉RGBG濾波片的黑白攝影鏡頭。
RGBG用來獲得物體的色彩，而黑白攝影鏡頭用來獲得更好的進光量，來判斷被拍物體的光強強度。然後將兩個圖片融合即可獲得更好的暗光增強。
目前有兩種融合方法：
3、暗光效果增強
一般來講，做暗光增強就是在兩個攝影鏡頭中：一個用RGBG的標準攝影鏡頭，一個用去掉RGBG濾波片的黑白攝影鏡頭。
RGBG用來獲得物體的色彩，而黑白攝影鏡頭用來獲得更好的進光量，來判斷被拍物體的光強強度。然後將兩個圖片融合即可獲得更好的暗光增強。
目前有兩種融合方法：
以黑白圖片為主體，將彩色圖片上獲取的每個像素的顏色，貼至黑白圖片上，將兩種圖片融合。以彩色圖片為主體，將黑白圖片上獲取的每個圖像的光強，補償到彩色照片上，將兩種圖片融合。
至於哪種方式更合適做融合，可能仁者見仁智者見智，就不在這展開討論了。
同樣，做暗光增強，為了讓左右攝影鏡頭拍攝的物體重疊度高，此類雙攝影鏡頭模組也是要求越近越好。
需要說明的事，華為P9其實選用的就是這個方式的模組
當然有些業內人士也表示這種算法目前做的效果並不明顯。暗光補償對用戶來說的確很有幫助，尤其拍夜景的時候。不過有些客戶認為索尼和三星的Dual PD技術就非常好，更願意用Dual PD 攝影機來做暗光補償。
到底是雙攝影鏡頭，還是Dual PD的暗光補償效果好，大家可以比較一下華為P9和三星的Galaxy S7 edge，就會有答案了。
這個一般使用彩色+黑白的攝影鏡頭。通過黑白攝影鏡頭獲取圖片的光亮強度，來對圖片暗光補償。
4、3D拍攝以及3D建模
3D拍攝和3D建模的算法，其實跟距離應用有點類似，只是它的精度要求更高，甚至有時會需要用紅外測距，進行更準確的距離判斷。
提到雙攝影鏡頭的算法，不得不提到ISP（Image Signal Processing 圖像信號處理器），ISP主要作用是對前端圖像傳感器輸出的信號做後期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等，依賴於ISP才能在不同的光學條件下，都能較好的還原現場細節，ISP技術在很大程度上，決定了手機的成像品質。
功能機時代，ISP都是做在攝影鏡頭上的，不同像素的攝影鏡頭搭配不同性能的ISP。隨著手機攝影鏡頭像素越來越高，對ISP性能的要求越來越高，若將ISP整合到攝影鏡頭Sensor上，勢必造成攝影鏡頭的模組過大，甚至影響拍照效果。
所以智慧機時代，ISP一般都是在主晶片SoC上。部分品牌廠商為了實現更好的效果，甚至不惜成本的外加一顆ISP，用來達到更好更專業的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝影鏡頭對ISP性能要求更多。首先，為了使左右攝影鏡頭的信號能夠同時被處理，單一的ISP已經無法滿足雙攝影鏡頭的需求。這就需要雙路ISP實現此功能。
4、3D拍攝以及3D建模
3D拍攝和3D建模的算法，其實跟距離應用有點類似，只是它的精度要求更高，甚至有時會需要用紅外測距，進行更準確的距離判斷。
提到雙攝影鏡頭的算法，不得不提到ISP（Image Signal Processing 圖像信號處理器），ISP主要作用是對前端圖像傳感器輸出的信號做後期處理，主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等，依賴於ISP才能在不同的光學條件下，都能較好的還原現場細節，ISP技術在很大程度上，決定了手機的成像品質。
功能機時代，ISP都是做在攝影鏡頭上的，不同像素的攝影鏡頭搭配不同性能的ISP。隨著手機攝影鏡頭像素越來越高，對ISP性能的要求越來越高，若將ISP整合到攝影鏡頭Sensor上，勢必造成攝影鏡頭的模組過大，甚至影響拍照效果。
所以智慧機時代，ISP一般都是在主晶片SoC上。部分品牌廠商為了實現更好的效果，甚至不惜成本的外加一顆ISP，用來達到更好更專業的拍照效果。
好的拍照算法就需要搭配好的ISP，ISP和算法相輔相成，缺一不可。而雙攝影鏡頭對ISP性能要求更多。首先，為了使左右攝影鏡頭的信號能夠同時被處理，單一的ISP已經無法滿足雙攝影鏡頭的需求。這就需要雙路ISP實現此功能。
以暗光增強為例，彩色/黑白圖像分別進入各自的ISP通道和校準通道，然後將兩副圖片做匹配（如將兩幅圖片相同的部分提取出來，去除只有一個攝影鏡頭拍到的部分），然後通過遮擋，檢測，補償等算法處理相關的圖片。最後將兩幅圖片融合起來，實現顏色的增強。當然實際上ISP配合算法做的事情，遠遠比這圖片上寫的要多。
當然，在這裡面也有一個小小的插曲。畢竟是兩個ISP，兩個ISP多少有一些處理速度、處理能力不同的問題。為了保證兩個ISP能在同一時間上取樣，就需要雙攝影鏡頭拍出來的圖片是同一時間拍出來的。其中一個解決辦法就是讓Sensor有一個同步信號引腳。將兩個攝影鏡頭的同步信號對接，在每次讀取圖片時，將圖片都打上一個時間戳，ISP通過時間戳，保證左右攝影鏡頭拍出來的照片，是在同一時間拍攝，最終再進行融合。
不同於一般的3D電影的拍攝。手機上的兩個攝影鏡頭，無法在圖像的拍攝過程中就產生足夠的視覺差，這是由於兩個攝影鏡頭中間的距離和人眼不一樣。而且為了能夠讓人們更明顯地得到3D視覺效果。所以往往需要算法進行增強。
由於可以測出距離，後續的雙攝影鏡頭不僅僅可以實現3D攝影，還可以進行3D建模，到這個時候，我想雙攝影鏡頭的重要性則會更加重要。
其他的效果增強，比如HDR、提高解析度，這些功能其實單攝影鏡頭也可以實現，只是雙攝影鏡頭可以讓效果更好，就不一一列舉了。
小結：
目前來看，這幾個功能是雙攝影鏡頭手機最常見的功能。背景虛化/更換，暗光效果給用戶帶來了更多的拍照效果；光學變焦則讓我們感受了變焦功能的相機功能；但個人覺得未來最讓人激動的則是3D功能。
今年VR這麼火，VR的素材哪裡來？還是得靠雙攝影鏡頭算法的優化。若3D拍照和建模的算法成熟後，將會讓雙攝影鏡頭變得更加流行。
雙攝影鏡頭的生態鏈：
雙攝影鏡頭的生態鏈：
前文我們講了雙攝影鏡頭的應用及其原理。現在我們就重點來說說雙攝影鏡頭的產業鏈。
1、雙攝影鏡頭算法供應商
由於算法是需要跟ISP配合的，所以算法和ISP是相輔相成的，想把算法做好，也得有好的ISP。
作為主平台供應商，高通/聯發科都有自己的ISP，所以也自己開發了雙攝影鏡頭算法。至於其算法好壞，還有待市場的檢驗。
而作為Sensor供應商，Sony、Samsung、OV也在積極開發雙攝影鏡頭圖像算法，暫時也沒有看到量產的產品。不過在功能機時代，是沒有ISP的。這些Camera sensor的供應商做2M/5M的時候，都得搭配自家的ISP，所以這些供應商都是有自己開發ISP的經驗。所以開發雙攝影鏡頭算法，相對來說也是有相關的經驗的。
Apple去年收購了Linx，也擁有了多攝影鏡頭的專利和算法，是否會用在自家的雙攝影鏡頭機型，那就看今年的iPhone7。理論來上說，Linx有足夠多的算法，所以Apple不至於跟某大廠去買雙攝影鏡頭的IP授權。
除了這些平台，sensor供應商和智慧機的品牌商，會自己開發雙攝影鏡頭算法外，其他供應商我們一一列舉一下：
1996年成立於台灣的華晶，主要開發獨立的ISP晶片。部分高端手機、相機和車載都有用其ISP的案例。雙攝影鏡頭手機也有用其ISP的。距離應用、光學變焦和暗光補償都有所建樹。
一家以色列的公司。其算法的優勢主要在光學變焦和暗光補償上。景深方面，也有一定的研究。從媒體宣傳來看，hTC有機型採用了其算法。
虹軟成立於1994年，總部在美國，在上海，杭州和南京都有技術中心。虹軟的強項是光學變焦和暗光補償。上一篇里的第二個光學變焦圖和暗光補充的圖就來自虹軟。
上海興芯微是一家成立於2011年的公司，主要從事圖像處理器的研發，目前產品主要應用在車載市場。做為為數不多的研發獨立ISP的公司，目前也在開發雙攝影鏡頭的算法和ISP。在雙攝影鏡頭市場起來後，X-Chip將會是一匹非常有潛力的黑馬。
雙攝影鏡頭也是剛剛出來， 所以算法方面，各家都有各自的優點和缺點。不過從目前已經推出的雙攝影鏡頭手機效果來看，各家的算法還有待提高。等各種算法能力上去後，勢必會讓雙攝影鏡頭成為手機的標配。
2、雙攝影鏡頭sensor供應商
由於雙攝影鏡頭在拍照的時候，需要兩個攝影鏡頭同步時間戳，這就需要Camera Sensor有同步信號。目前有此同步信號的sensor供應商有Sony、Samsung、OV、格科微。所以雙攝影鏡頭的Sensor主要用這幾家的產品。
3、雙攝影鏡頭模組供應商
目前能做雙攝影鏡頭的模組廠很多，有光寶、舜宇、信利、Namuga、O-Film、三星機電、丘鈦。不過有量產經驗的主要是光寶、舜宇和信利。華為的機型主要是用光寶和舜宇的模組。
而O-Film和三星機電憑借其強大的工廠能力，現在也大舉進軍雙攝影鏡頭模組領域。Namuga則是跟各算法公司保持良好的溝通關係，並為三星手機的供應商，也逐漸在雙攝影鏡頭模組領域發力。
不過不同功能對模組要求不一樣。我們繼續拿上文說的四個功能為例
距離方面的應用，一般的做法，就是大小攝影鏡頭，常見的攝影鏡頭規格如13M+2M，13M+5M。如下圖：
或者就是把兩個攝影鏡頭放得遠一些，如下圖：
通過這兩種方式，才能更好的計算被拍攝物體到鏡頭的距離。
光學變焦的雙攝影鏡頭模組，最主要是兩個攝影鏡頭需要有不同的FOV，類似下圖：
不同的FOV，拍出來的聚焦點不同，再通過算法，就可以實現光學變焦功能。
一般的暗光增強，都是通過一個RGB全彩色的攝影鏡頭加一顆MONO黑白的攝影鏡頭進行拍攝，如下圖：
算法方面，主要是通過右面的黑白攝影鏡頭讀取進光量的多少，從而補償左邊RGB攝影鏡頭的色彩。
3D拍攝和建模，這種方式跟距離相關的模組有點類似。只是3D對距離的精準度要求更高。這種情況下，更需要將兩個攝影鏡頭的距離擺得遠一點，甚至有些會採用外加紅外輔助定位來實現距離測量，最終實現3D拍攝和建模的作用。
雙攝影鏡頭模組製作的難點：
雙攝影鏡頭的做法，一般有兩種：共基板，或者共支架。如下圖：
若共基板，則是將兩個Camera Sensor共同放在同一個基板上，然後一個FPC從此基板上引出來即可。若共支架，如上圖，通過支架將Sensor固定住，每個Sensor有自己的基板和自己的FPC。
共基板的優點：兩個Sensor可以坐在同一個平板上，而且抗跌落。共基板的缺點：良率低，造成價格昂貴。共支架的優點：良率高，價格較好。
共支架的缺點：因為是兩顆獨立Sensor模組，需要通過AA校準使其在同一個平面上，難度大，抗摔落也差。
總之兩種方法各有優缺點，目前只有華為採用的是共基板的方式。但無論哪種方式，目前良率都是較差的，所以成本還是很高的。
雙攝影鏡頭的未來：
雙攝影鏡頭的未來：
若算法提高，模組良率提高，雙攝影鏡頭還是有很多優勢值得大家去做的。
不過由於不同功能對模組擺放要求不同，雙攝影鏡頭目前來看，有可能完全無法滿足大家對攝影鏡頭的要求。
由於谷歌推出Project Tango的時候，很聰明地提出了一個三攝影鏡頭的概念：當需要測距和3D建模的時候，可以用兩個距離遠的攝影鏡頭；若做光學變焦和暗光補償，可以用兩個距離近的鏡頭。甚至此Depth Sense可以結合紅外，更準確的測量距離。
無論如何，隨著雙攝影鏡頭算法的演進，VR需求的增加，攝影鏡頭發揮的作用越來越大。雙攝影鏡頭，甚至前雙攝影鏡頭+後三攝影鏡頭的手機，明後年很有可能變得越來越常見。
0 comments:
張貼留言