[發(fā)明專(zhuān)利]基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011355759.3
• 申請(qǐng)日: 2020-11-27
• 公開(kāi)（公告）號(hào): CN112488918A
• 公開(kāi)（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 章焱舜;陳欣;張迎梁
• 申請(qǐng)（專(zhuān)利權(quán)）人: 疊境數(shù)字科技（上海）有限公司
• 主分類(lèi)號(hào): G06T3/40
• 分類(lèi)號(hào): G06T3/40;G06T5/50;G06T7/70;G06T7/80
• 代理公司: 上海精晟知識(shí)產(chǎn)權(quán)代理有限公司 31253
• 代理人: 孫永智

1.一種基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法，其特征在于，步驟包括：

1)對(duì)多相機(jī)系統(tǒng)中的每臺(tái)相機(jī)進(jìn)行相機(jī)標(biāo)定；

2)根據(jù)所述多相機(jī)系統(tǒng)中的每臺(tái)相機(jī)的所處位置信息，明確新相機(jī)的插值位置，并根據(jù)步驟1)的相機(jī)標(biāo)定數(shù)據(jù)計(jì)算所述新相機(jī)的相機(jī)位姿；

3)根據(jù)相機(jī)的投影關(guān)系和各相機(jī)的位姿信息，計(jì)算與所述多相機(jī)系統(tǒng)中的各相機(jī)采集的指定圖像具有一一對(duì)應(yīng)關(guān)系的多張初始插值圖像；

4)對(duì)各所述初始插值圖像進(jìn)行圖像融合，得到一融合插值圖像；

5)對(duì)所述融合插值圖像進(jìn)行像素補(bǔ)全，最終得到關(guān)聯(lián)所述新相機(jī)的插值圖像。

2.根據(jù)權(quán)利要求1所述的基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法，其特征在于，步驟2)中，所述新相機(jī)的相機(jī)位姿包括相機(jī)內(nèi)參矩陣、相機(jī)平移向量和相機(jī)旋轉(zhuǎn)矩陣，所述新相機(jī)的相機(jī)內(nèi)參矩陣通過(guò)以下公式(1)計(jì)算而得：

K'＝(1-λ)K₁+λK₂公式(1)

公式(1)中，K'表示所述新相機(jī)的相機(jī)內(nèi)參矩陣；

λ用于表示所述新相機(jī)的插值位置，λ為所述新相機(jī)到左相機(jī)的距離與左右相機(jī)總距離的比值，0≤λ≤1；

K₁表示設(shè)置在所述新相機(jī)左手側(cè)的所述左相機(jī)的內(nèi)參矩陣；

K₂表示設(shè)置在所述新相機(jī)右手側(cè)的右相機(jī)的內(nèi)參矩陣。

3.根據(jù)權(quán)利要求2所述的基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法，其特征在于，所述新相機(jī)的相機(jī)平移向量通過(guò)以下公式(2)計(jì)算而得：

T'＝(1-λ)T₁+λT₂公式(2)

公式(2)中，T'表示所述新相機(jī)的相機(jī)平移向量；

T₁表示所述左相機(jī)的相機(jī)平移向量；

T₂表示所述右相機(jī)的相機(jī)平移向量。

4.根據(jù)權(quán)利要求2所述的基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法，其特征在于，計(jì)算所述新相機(jī)的相機(jī)旋轉(zhuǎn)矩陣的具體步驟包括：

2.1)通過(guò)所述左相機(jī)和所述右相機(jī)的相機(jī)旋轉(zhuǎn)矩陣，計(jì)算出所述右相機(jī)相對(duì)于所述左相機(jī)的第一相對(duì)旋轉(zhuǎn)矩陣；

2.2)將所述第一相對(duì)旋轉(zhuǎn)矩陣轉(zhuǎn)換為第一相對(duì)旋轉(zhuǎn)向量，所述第一相對(duì)旋轉(zhuǎn)向量由旋轉(zhuǎn)軸r＝[r_x,r_y,r_z]^T和旋轉(zhuǎn)角θ表示；

2.3)計(jì)算所述旋轉(zhuǎn)角θ和比值λ的乘積作為所述新相機(jī)相對(duì)于所述左相機(jī)的旋轉(zhuǎn)角θ'，所述旋轉(zhuǎn)角θ'和與所述第一相對(duì)旋轉(zhuǎn)向量相同的所述旋轉(zhuǎn)軸r用于表示所述新相機(jī)相對(duì)于所述左相機(jī)的第二相對(duì)旋轉(zhuǎn)向量；

2.4)將所述第二相對(duì)旋轉(zhuǎn)向量轉(zhuǎn)換為第二相對(duì)旋轉(zhuǎn)矩陣；

2.5)根據(jù)所述第二相對(duì)旋轉(zhuǎn)矩陣以及所述左相機(jī)的相機(jī)旋轉(zhuǎn)矩陣，反向計(jì)算出所述新相機(jī)的相機(jī)旋轉(zhuǎn)矩陣。

5.根據(jù)權(quán)利要求4所述的基于RGB-D圖像和多相機(jī)系統(tǒng)的圖像插值方法，其特征在于，計(jì)算所述新相機(jī)的相機(jī)旋轉(zhuǎn)矩陣的過(guò)程通過(guò)以下公式(3)表達(dá)：

公式(3)中，R'表示所述新相機(jī)的相機(jī)旋轉(zhuǎn)矩陣；

M_v2r表示將所述第一相對(duì)旋轉(zhuǎn)矩陣轉(zhuǎn)換為所述第一相對(duì)旋轉(zhuǎn)向量；

M_r2v表示將所述第二相對(duì)旋轉(zhuǎn)向量轉(zhuǎn)換為所述第二相對(duì)旋轉(zhuǎn)矩陣；

R₁表示所述左相機(jī)從相機(jī)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系的相機(jī)旋轉(zhuǎn)矩陣；

R₂表示所述右相機(jī)從相機(jī)坐標(biāo)系轉(zhuǎn)換到世界坐標(biāo)系的相機(jī)旋轉(zhuǎn)矩陣。