[發(fā)明專利]基于RGB-D圖像和多相機系統(tǒng)的圖像插值方法及裝置

在審

• 申請?zhí)枺?/td>: 202011355759.3
• 申請日: 2020-11-27
• 公開（公告）號: CN112488918A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計）人: 章焱舜;陳欣;張迎梁
• 申請（專利權(quán)）人: 疊境數(shù)字科技（上海）有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50;G06T7/70;G06T7/80
• 代理公司: 上海精晟知識產(chǎn)權(quán)代理有限公司 31253
• 代理人: 孫永智

本發(fā)明公開了一種基于RGB?D圖像和多相機系統(tǒng)的圖像插值方法及裝置，其中方法包括：對多相機系統(tǒng)中的每臺相機進(jìn)行相機標(biāo)定；根據(jù)所述多相機系統(tǒng)中的每臺相機的所處位置信息，明確新相機的插值位置，并根據(jù)相機標(biāo)定數(shù)據(jù)計算所述新相機的相機位姿；根據(jù)相機的投影關(guān)系和各相機的位姿信息，計算與所述多相機系統(tǒng)中的各相機采集的指定圖像具有一一對應(yīng)關(guān)系的多張初始插值圖像；對各所述初始插值圖像進(jìn)行圖像融合，得到一融合插值圖像；對所述融合插值圖像進(jìn)行像素補全，最終得到關(guān)聯(lián)所述新相機的插值圖像。本發(fā)明解決了多視角視頻由于采集相機布設(shè)數(shù)量過少，切換觀看視角時容易產(chǎn)生觀感卡頓的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像插值方法，具體涉及一種基于RGB-D和多相機系統(tǒng)的圖像插值方法及裝置。

背景技術(shù)

如今，多相機系統(tǒng)在3D重建、運動捕捉、多視點視頻拍攝等領(lǐng)域得到了廣泛應(yīng)用。多相機系統(tǒng)通過多個不同相機、光源、存儲設(shè)備等同時對一個或多個目標(biāo)進(jìn)行跟蹤拍攝，得到的多視角視頻更能展示出目標(biāo)特征，能夠大幅提高觀眾的視覺體驗。但多視角視頻通常只能在原始的采集相機視角進(jìn)行觀看，當(dāng)采集相機的布設(shè)數(shù)量較為稀疏時，視角切換為引起較大的內(nèi)容變化，使得用戶觀感卡頓。

發(fā)明內(nèi)容

本發(fā)明的以解決多視角視頻由于采集相機布設(shè)數(shù)量過少，切換觀看視角時容易產(chǎn)生觀感卡頓的問題，提出了一種基于RGB-D圖像和多相機系統(tǒng)的圖像插值方法及裝置。

為達(dá)此目的，本發(fā)明采用以下技術(shù)方案：

提供一種基于RGB-D圖像和多相機系統(tǒng)的圖像插值方法，步驟包括：

1)對多相機系統(tǒng)中的每臺相機進(jìn)行相機標(biāo)定；

2)根據(jù)所述多相機系統(tǒng)中的每臺相機的所處位置信息，明確新相機的插值位置，并根據(jù)步驟1)的相機標(biāo)定數(shù)據(jù)計算所述新相機的相機位姿；

3)根據(jù)相機的投影關(guān)系和各相機的位姿信息，計算與所述多相機系統(tǒng)中的各相機采集的指定圖像具有一一對應(yīng)關(guān)系的多張初始插值圖像；

4)對各所述初始插值圖像進(jìn)行圖像融合，得到一融合插值圖像；

5)對所述融合插值圖像進(jìn)行像素補全，最終得到關(guān)聯(lián)所述新相機的插值圖像。

優(yōu)選地，步驟2)中，所述新相機的相機位姿包括相機內(nèi)參矩陣、相機平移向量和相機旋轉(zhuǎn)矩陣，所述新相機的相機內(nèi)參矩陣通過以下公式(1)計算而得：

K'＝(1-λ)K₁+λK₂ 公式(1)

公式(1)中，K'表示所述新相機的相機內(nèi)參矩陣；

λ用于表示所述新相機的插值位置，λ為所述新相機到左相機的距離與左右相機總距離的比值，0λ≤1；

K₁表示設(shè)置在所述新相機左手側(cè)的所述左相機的內(nèi)參矩陣；

K₂表示設(shè)置在所述新相機右手側(cè)的右相機的內(nèi)參矩陣。

優(yōu)選地，所述新相機的相機平移向量通過以下公式(2)計算而得：

T'＝(10λ)T₁+λT₂ 公式(2)

公式(2)中，T'表示所述新相機的相機平移向量；

T₁表示所述左相機的相機平移向量；

T₂表示所述右相機的相機平移向量。

優(yōu)選地，計算所述新相機的相機旋轉(zhuǎn)矩陣的具體步驟包括：

2.1)通過所述左相機和所述右相機的相機旋轉(zhuǎn)矩陣，計算出所述右相機相對于所述左相機的第一相對旋轉(zhuǎn)矩陣；