[發(fā)明專利]深度圖建立方法與多鏡頭相機(jī)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201410520072.9
• 申請(qǐng)日: 2014-09-30
• 公開（公告）號(hào): CN105530503A
• 公開（公告）日: 2016-04-27
• 發(fā)明（設(shè)計(jì)）人: 鄭青峰;吳俊輝
• 申請(qǐng)（專利權(quán)）人: 光寶科技股份有限公司;吳俊輝
• 主分類號(hào): H04N13/00
• 分類號(hào): H04N13/00;H04N13/02;H04N13/04
• 代理公司: 隆天知識(shí)產(chǎn)權(quán)代理有限公司 72003
• 代理人: 蘇捷;向勇

技術(shù)領(lǐng)域

本發(fā)明涉及一種深度圖建立方法與多鏡頭相機(jī)系統(tǒng)，特別涉及一種多 鏡頭相機(jī)系統(tǒng)，以及建立其中多鏡頭拍攝重疊與非重疊圖像組合而成的深 度圖的方法。

背景技術(shù)

深度圖是一種包括圖像中各物件深度信息的圖像，此類圖案通常以灰 階圖案表示。圖像中的深度信息也可稱為Z深度(Z-depth)，也就是表示 一個(gè)X-Y平面方向之外的Z方向深度信息。因此可以根據(jù)圖像中各物件 的深度信息重建一個(gè)立體圖像。

根據(jù)以拍攝的圖像建立立體圖像的現(xiàn)有技術(shù)，多數(shù)是通過兩個(gè)平行的 鏡頭拍攝同一場(chǎng)景，并根據(jù)兩個(gè)鏡頭分別取得的圖像中的重疊區(qū)域建立一 種深度圖(depthmap)，此深度圖即為建立立體圖像(3Dimage)的依據(jù)。

上述兩個(gè)鏡頭分別取得的圖像投射在兩個(gè)圖像傳感器，根據(jù)圖像之間 的像差即可運(yùn)算出深度圖，但每個(gè)鏡頭都有一定的視野(fieldofview，

FOV)，兩個(gè)視野不重疊的地方將無法產(chǎn)生深度圖。

發(fā)明內(nèi)容

為了能夠在重疊區(qū)域較小等的特定情況下仍能建立整個(gè)場(chǎng)景圖像完 整的深度圖，本發(fā)明提出一種深度圖建立方法，以及執(zhí)行此方法的多鏡頭 相機(jī)系統(tǒng)，其中除了多鏡頭取得的圖像中重疊的部分以根據(jù)視差信息所建 立的深度圖以外，非重疊的部分則以估算方式也建立其深度圖，使得能夠 經(jīng)結(jié)合后得到全域深度圖。

根據(jù)方法實(shí)施例，步驟包括先以多鏡頭相機(jī)取得同一場(chǎng)景的多個(gè)圖像， 其中各個(gè)圖像包括至少一具有重疊區(qū)域的圖像與至少一具有非重疊區(qū)域 的圖像，再判斷各圖像中重疊區(qū)域與非重疊區(qū)域。接著建立重疊區(qū)域內(nèi)圖 像的一重疊區(qū)域深度圖，可利用重疊區(qū)域內(nèi)的兩個(gè)圖像中對(duì)應(yīng)像素的像差 得到各像素的深度信息，并據(jù)此建立此重疊區(qū)域深度圖；再以一深度估計(jì) 手段建立非重疊區(qū)域內(nèi)圖像的一或多個(gè)非重疊區(qū)域深度圖。

經(jīng)取得重疊區(qū)域深度圖以及相鄰的一或多個(gè)非重疊區(qū)域深度圖的邊 界或重疊的區(qū)域后，可拼接兩種深度圖而形成一全域深度圖。

根據(jù)系統(tǒng)實(shí)施例，多鏡頭相機(jī)系統(tǒng)包括有一多鏡頭模塊，其中包括取 得場(chǎng)景內(nèi)第一圖像的第一鏡頭模塊，以及此場(chǎng)景內(nèi)第二圖像的第二鏡頭模 塊，兩個(gè)鏡頭模塊為不平行鏡頭；系統(tǒng)包括暫存圖像的暫存單元；系統(tǒng)包 括有一重疊區(qū)域判斷單元，能自暫存單元取得第一圖像與第二圖像，以根 據(jù)第一鏡頭模塊與第二鏡頭模塊的視野以及鏡頭與場(chǎng)景的距離判斷第一 圖像與第二圖像的重疊區(qū)域。系統(tǒng)以一重疊區(qū)域深度運(yùn)算單元根據(jù)圖像中 對(duì)應(yīng)像素的像差建立一重疊區(qū)域深度圖，以及以一非重疊區(qū)域深度運(yùn)算單 元建立一或多個(gè)非重疊區(qū)域深度圖；系統(tǒng)包括一拼接單元，可取得重疊區(qū) 域深度圖以及相鄰的一或多個(gè)非重疊區(qū)域深度圖的邊界或重疊的區(qū)域后， 拼接后形成一全域深度圖。

為了能更進(jìn)一步了解本發(fā)明為實(shí)現(xiàn)既定目的所采取的技術(shù)、方法及功 效，請(qǐng)參閱以下有關(guān)本發(fā)明的詳細(xì)說明、附圖，相信本發(fā)明的目的、特征 與特點(diǎn)，當(dāng)可由此得以深入且具體的了解，然而說明書附圖僅提供參考與 說明用，并非用來對(duì)本發(fā)明加以限制。

附圖說明

圖1顯示一個(gè)照相機(jī)內(nèi)兩個(gè)非平行鏡頭拍攝同一場(chǎng)景的視野示意圖 之一；

圖2顯示一個(gè)照相機(jī)內(nèi)兩個(gè)非平行鏡頭拍攝同一場(chǎng)景的視野示意圖 之二；

圖3A與3B顯示拍攝同一場(chǎng)景取得的各區(qū)域示意圖；

圖4顯示利用消失點(diǎn)為基礎(chǔ)的演算法來估算景深的示意圖；

圖5顯示為采用本發(fā)明深度圖建立方法的多鏡頭相機(jī)系統(tǒng)實(shí)施例；

圖6顯示的流程描述本發(fā)明深度圖建立方法的實(shí)施例；

圖7示意顯示深度圖的拼接方法；

圖8顯示本發(fā)明深度圖建立方法中相鄰深度圖的拼接方法實(shí)施例。

附圖標(biāo)記說明：

照相機(jī)10第一鏡頭101

第二鏡頭102第一視野1a

第二視野1b重疊區(qū)域1c

第一傳感器103第二傳感器104

照相機(jī)20第一鏡頭201

第二鏡頭202第一視野2a

第二視野2b重疊區(qū)域2c

第一傳感器203第二傳感器204

第一圖像非重疊區(qū)域301第一圖像重疊區(qū)域302

第二圖像重疊區(qū)域303第二圖像非重疊區(qū)域304

圖像區(qū)域a,b

場(chǎng)景4消失點(diǎn)401