高端智能手機的亮點越來越少,雷圖圖已經無法展現手機的優勢。於是更霸氣的雙攝像頭出現了。這裏說的雙攝像頭,並不是像以前的智能手機那樣,壹個攝像頭在前面,壹個攝像頭在後面,而是壹雙眼睛配兩個後置攝像頭來模擬人的眼睛,從而實現更多的拍照功能,更好的拍照效果。
壹般來說,目前智能手機的相機接口是MIPI(移動工業處理器接口)接口。過去,手機平臺上只有兩個MIPI接口,壹個用於前置攝像頭,另壹個用於後置攝像頭。要成為雙攝像頭,該平臺需要支持至少三個MIPI接口。其實在之前的高端平臺,為了達到更高的像素,雙ISP(Image?信號?處理,圖像信號處理器),比如為了支持16M的攝像頭,會使用兩個8M能力的ISP。這種平臺很可能只有2個MIPI,但這並不能阻止工程師去做前置單攝像頭+後置雙攝像頭。
雙攝像頭應用
這就是問題所在。雙攝像頭能做什麽?
1,雙攝像頭可以測量距離,可以用於距離相關的應用。
人眼很容易定位物體的距離,但是當人閉上其中壹只眼睛時,定位能力就會下降很多。雙攝像頭是模擬人眼的應用。簡單來說,測量距離就是通過算法計算出被攝物體與左/右攝像頭之間的角度θ1和θ2,加上壹個固定的Y值(即兩個攝像頭的中心距離),這樣就非常容易計算出Z值(即物體與攝像頭之間的距離)。
不過,這也很容易計算。如果兩個攝像頭的中心距過小,可計算物距會很近。如果要計算更長的距離,就必須加寬左右攝像機之間的距離。
如上圖所示,因為可以通過雙攝像頭的算法判斷物體的距離,所以通過這個特性很容易做出壹些特效,比如:
背景模糊
單反相機最突出的特點之壹就是大光圈。由於雙攝像頭可以測量不同被攝物體的距離,瞄準需要大光圈的物體,模糊其他不同距離的物體,因此可以輕松實現大光圈的效果。
)
b、背景替換
因為可以測量距離,可以提取被攝物體中的主體,可以改變背景,所以可以比PS更簡單的進行摳圖。
c、背景特效
因為距離是可以測量的,主題和背景是可以分開的,所以對背景做什麽都很容易,這裏就不做過多描述了。
d、測量距離
這張圖清楚地標識了不同物體的距離,這個距離信息用不同的顏色來標識。當AP獲得不同物體的距離信息時,就可以實現上述功能。
2,雙攝像頭可以做光學變焦。
光學變焦主要是指左右攝像頭使用不同的FOV(視角),使兩個攝像頭的視野不同。當用戶需要廣角照片時,他們使用視角為85度的左攝像頭來獲得廣角效果。當用戶需要長焦照片時,使用視角為45度的合適相機來獲得長焦效果。
為了使左右攝像頭拍攝的物體高度重疊,光學變焦的雙攝像頭模塊作為距離應用的攝像頭模塊不能太遠,但左右攝像頭需要盡量靠近放置。
如果兩個相機的FOV不同,壹個大,壹個小,然後通過算法實現兩個光學鏡頭之間的效果,就可以輕松實現光學變焦。
如果不使用雙攝像頭,放大圖片後文字會不清晰。
如果使用雙攝像頭,放大圖片後文字依然清晰。
這張圖是廣角圖和長焦圖的組合,通過算法計算出中間姿態的照片,這樣細節不失真。
3、暗光效果增強
壹般來說,暗光增強是在兩個相機中完成的:壹個帶RGBG的標準相機和壹個去掉RGBG濾鏡的黑白相機。RGBG用於獲取物體的顏色,而黑白相機用於獲取更好的進光量,以判斷被攝物體的光強。然後融合兩幅圖像,以獲得更好的暗光增強。
目前,有兩種融合方法:
以黑白圖片為主體,將彩色圖片獲得的每個像素的顏色粘貼在黑白圖片上,將兩張圖片融合。
以彩色圖片為主體,將黑白圖片得到的每幅圖像的光強補償到彩色圖片上,將兩幅圖片進行融合。
至於哪種方式更適合整合,不同的人可能會有不同的看法,這裏就不討論了。
同樣,對於暗光增強,為了讓左右攝像頭拍攝的物體高度重疊,也要求這種雙攝像頭模組盡量靠近。
需要註意的是,華為P9實際上選擇了這種模式的模塊。
當然,也有業內人士表示,目前這種算法效果並不明顯。暗光補償確實對用戶有幫助,尤其是在夜間拍攝時。但也有客戶認為索尼和三星的雙PD技術很好,更願意使用雙PD攝像頭進行暗光補償。
雙攝像頭還是雙PD暗光補償效果好,可以對比壹下華為P9和三星的Galaxy S7 edge,就有答案了。
這個壹般用彩色+黑白相機。畫面的亮度強度是由黑白相機獲得的,以補償畫面的暗光。
4.3D拍攝和3D建模
3D拍攝和3D建模的算法其實和距離應用差不多,只是精度要求更高,有時候甚至需要使用紅外測距來更準確的判斷距離。
說到雙攝像頭的算法,就不得不提ISP(Image?信號?處理圖像信號處理器),ISP的主要功能是對前端圖像傳感器輸出的信號進行後處理,主要功能有線性校正、去噪、去壞點、插值、白平衡、自動曝光控制等。只有依靠ISP才能在不同的光學條件下很好的還原場景細節,而ISP技術很大程度上決定了手機的成像質量。
在功能電腦時代,ISP都是建立在攝像頭上的,不同像素的攝像頭搭配不同性能的ISP。隨著手機攝像頭像素越來越大,對ISP性能的要求也越來越高。如果將ISP集成到相機傳感器中,相機模塊會過大,甚至會影響拍照效果。所以在智能手機時代,ISP壹般都在主芯片SoC上。有些品牌客戶為了達到更好的效果,甚至不惜代價增加壹個ISP,以達到更好更專業的照片效果。
好的相機算法需要好的ISP。ISP和算法相輔相成,缺壹不可。而雙攝像頭對ISP性能要求更高。首先,為了讓左右攝像頭的信號同時得到處理,單個ISP已經不能滿足雙攝像頭的需求。這就需要雙ISP來實現這個功能。
以暗光增強為例,彩色/黑白圖像分別進入各自的ISP通道和校準通道,然後進行兩幅圖像的匹配(比如提取兩幅圖像中相同的部分,去掉只有壹個攝像頭拍攝的部分),再對相關圖像進行遮擋、檢測、補償等算法處理。最後,融合兩幅圖像以增強顏色。當然,實際上ISP用算法做的事情比這張圖寫的要多。
當然這裏面也有壹個小插曲。畢竟有兩個ISP,兩個ISP存在壹些處理速度和處理能力不同的問題。為了保證兩個ISP可以同時采樣,就需要雙攝像頭拍攝的畫面是同時拍攝的。解決方案之壹是讓傳感器有壹個同步信號引腳。兩個攝像頭的同步信號是對接的,每次讀取壹張圖片,都會給圖片打上時間戳。ISP通過時間戳保證左右攝像頭拍攝的照片是同時拍攝的,最後融合。
不同於壹般3D電影的拍攝。手機上的兩個攝像頭在圖像拍攝過程中無法產生足夠的視覺差異,因為兩個攝像頭之間的距離與人眼的距離不同。而且為了讓人更明顯的獲得3D視覺效果。所以增強往往需要算法。
因為距離可以測量,後續的雙攝像頭不僅可以實現3D攝影,還可以進行3D建模。這個時候我覺得雙攝像頭的重要性就更加重要了。
其他效果也得到了增強,如HDR和分辨率的提高。這些功能其實單攝像頭就能實現,但雙攝像頭能讓效果更好,我就不壹壹列舉了。
總結:
目前這些功能都是雙攝手機最常見的功能。背景虛化/替換,暗光效果給用戶帶來更多的照片效果;光學變焦讓我們感受到變焦功能的相機功能;但個人認為,未來最令人興奮的還是3D功能。
今年VR這麽火,VR的素材從哪裏來?還是得靠雙攝像頭算法的優化。如果3D拍照和建模的算法成熟,雙攝像頭會更受歡迎。
雙攝像頭生態鏈
前面我們講了雙攝像頭的應用和原理。現在我們來關註壹下雙攝像頭的產業鏈。
1,雙攝像頭算法供應商
因為算法需要和ISP合作,所以算法和ISP是相輔相成的。想把算法做好,必須有好的ISP。
作為主要的平臺供應商,高通/聯發科有自己的ISP,所以也開發了自己的雙攝像頭算法。至於它的算法,還有待市場的檢驗。
作為傳感器供應商,索尼、三星和OV也在積極開發雙攝像頭算法,暫時還沒有見到量產產品。但是,在功能機時代,沒有ISP。這些相機傳感器供應商在做2M/5M的時候,都要匹配自己的ISP,所以他們都有自己開發ISP的經驗。所以雙攝算法的開發是比較有經驗的。
蘋果去年收購了Linx,它也有多攝像頭的專利和算法。是否會用在自家的雙攝機型上,還要看今年的iPhone7。理論上Linx有足夠的算法,蘋果不會去大廠買雙攝像頭的IP授權。
除了這些平臺,傳感器供應商和品牌的智能手機都會開發自己的雙攝像頭算法,我們將逐壹列出其他供應商:
華晶,1996成立於臺灣省,主要研發自主ISP芯片。壹些高端手機、相機、汽車都使用其ISP的外殼。雙攝像頭手機也有自己的ISP。距離應用,光學變焦,暗光補償都有所建樹。
壹家以色列公司。算法的優勢主要在於光學變焦和暗光補償。在深度領域,也有壹些研究。從媒體宣傳來看,hTC已經采用了它的算法。
虹軟成立於1994,總部位於美國,在上海、杭州和南京都設有技術中心。虹軟的強項是光學變焦和暗光補償。上壹篇文章的第二張光學變焦圖和暗光補圖來自Irisoft。
上海興芯威是壹家成立於2011的公司,主要從事圖像處理器的研發。目前,其產品主要用於車輛市場。作為少數幾個開發獨立ISP的公司,他們也在開發雙攝像頭算法和ISP。雙攝市場後,X-Chip將是壹匹潛力巨大的黑馬。
雙攝像頭剛出來,所以各家在算法上各有優劣。但從目前已經推出的雙攝像頭手機的效果來看,各家的算法都有待改進。各種算法能力上去之後,勢必會讓雙攝像頭成為手機的標配。
2.雙攝像頭傳感器供應商
因為兩個相機拍照時需要同步時間戳,這就要求相機傳感器有同步信號。目前,提供這種同步信號的傳感器供應商有索尼、三星、OV和格科威。所以雙攝像頭傳感器主要用這些產品。
3.雙攝像頭模塊供應商
目前可以做雙攝像頭的模組廠有很多,包括光寶、虞舜、新力、納木加、O-Film、三星機電、秋體等。然而,有量產經驗的主要是廣寶、虞舜和新力。華為的機型主要使用光寶和虞舜的模塊。而O-Film和三星機電,依靠其強大的工廠能力,現在正在雙攝像頭模組領域大踏步前進。Namuga與各算法公司保持著良好的溝通關系,是三星手機的供應商,正在雙攝像頭模組領域逐步發力。
但是,不同的功能需要不同的模塊。讓我們繼續以上面提到的四個函數為例:
距離應用,壹般的做法,就是相機的大小,常見的相機規格如13M+2M,13M+5M。
通過這兩種方式,可以更好的計算出物體到鏡頭的距離。
光學變焦雙攝像頭模塊,最重要的是兩個攝像頭需要有不同的FOV,類似下圖:
不同的FOV,不同的焦點,然後通過算法,可以實現光學變焦功能。
壹般暗光增強是用RGB全彩相機和單色黑白相機拍攝的,如下圖所示:
算法方面,進光量主要由右邊的黑白攝像頭讀取,以補償左邊RGB攝像頭的色彩。
3D拍攝和建模,這種方式有點類似於距離相關模塊。只是3D對距離的精度要求更高。這種情況下,更需要把兩個攝像頭的距離放遠壹點,有的甚至利用紅外輔助定位來實現測距,最終實現3D拍攝和建模的作用。
制造雙相機模塊的困難;
壹般雙攝像頭有兩種:* *基板或者* * *支架。如下圖所示:
在* * *基板的情況下,兩個攝像傳感器*** * *放置在同壹基板上,然後從該基板引出壹個FPC。如果使用* * *支架,如上圖所示,傳感器由支架固定,每個傳感器都有自己的基板和FPC。
* * *底板的優點:兩個傳感器可以坐在同壹個平板上,耐摔。
* * *基板的缺點:產量低,導致價格高。
* * *支架優點:產量高,價格好。
* * *支架的缺點:由於是兩個獨立的傳感器模塊,需要AA校準才能使它們在同壹平面上,難度大,抗摔性差。
總之,兩種方法各有利弊。目前只有華為采用* * *基板方式。但無論哪種方式,目前的收益率都很差,所以成本還是很高的。
雙攝像頭的未來
如果改進算法,提高模組良率,雙攝像頭還是有很多優點值得做的。
但是由於不同的功能對模塊放置的要求不同,雙攝像頭目前可能並不能滿足大家對攝像頭的要求。
Google在推出Project Tango的時候,巧妙地提出了壹個三攝像頭的概念:需要測距和3D建模的時候,可以使用兩個距離較遠的攝像頭;如果做光學變焦和暗光補償,可以用兩個近距鏡頭。甚至這種深度感可以和紅外線結合起來更精確地測量距離。
無論如何,隨著雙攝像頭算法的演進和VR需求的增加,攝像頭扮演著越來越重要的角色。雙攝像頭的手機,甚至是前置雙攝像頭和後置三攝像頭,在未來壹年內很可能會越來越普遍。