[發(fā)明專利]圖像合成方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)以及程序產(chǎn)品

有效

• 申請(qǐng)?zhí)枺?/td>: 202011619097.6
• 申請(qǐng)日: 2020-12-30
• 公開（公告）號(hào): CN112651881B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 盧飛翔;劉宗岱;張良俊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司;百度(美國)有限責(zé)任公司
• 主分類號(hào): G06T3/00
• 分類號(hào): G06T3/00;G06T15/04;G06T17/00;G06V20/70;G06V20/54;G06V20/58;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 北京猷德知識(shí)產(chǎn)權(quán)代理有限公司 16084
• 代理人: 范繼晨

1.一種圖像合成方法，包括：

對(duì)包括第一目標(biāo)對(duì)象的第一視角的圖像進(jìn)行紋理補(bǔ)全處理，得到第一目標(biāo)對(duì)象的紋理貼圖；

利用所述紋理貼圖生成第一目標(biāo)對(duì)象的三維模型；

根據(jù)第二視角的場(chǎng)景圖像的方位信息，將所述第一目標(biāo)對(duì)象的三維模型投影得到第一目標(biāo)對(duì)象的二維圖像；

將所述第一目標(biāo)對(duì)象的二維圖像疊加到所述場(chǎng)景圖像中，得到第二視角的合成圖像；

其中，所述對(duì)包括第一目標(biāo)對(duì)象的第一視角的圖像進(jìn)行紋理補(bǔ)全處理，得到第一目標(biāo)對(duì)象的紋理貼圖，包括：將所述包括第一目標(biāo)對(duì)象的第一視角的圖像進(jìn)行分割，得到包括第一目標(biāo)對(duì)象的至少一個(gè)部件的分割圖像；在所述包括第一目標(biāo)對(duì)象的第一視角的圖像中，對(duì)所述第一目標(biāo)對(duì)象的位姿進(jìn)行標(biāo)注，得到位姿標(biāo)注信息；根據(jù)所述位姿標(biāo)注信息將所述分割圖像投影，得到第一目標(biāo)對(duì)象的待處理圖像；利用深度神經(jīng)網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行紋理補(bǔ)全處理，得到第一目標(biāo)對(duì)象的紋理貼圖。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述利用所述紋理貼圖生成第一目標(biāo)對(duì)象的三維模型，包括：

獲取第一目標(biāo)對(duì)象的可變形模板的變形參數(shù)，其中，所述變形參數(shù)與所述第一目標(biāo)對(duì)象的外觀形狀相對(duì)應(yīng)；

根據(jù)所述可變形模板的變形參數(shù)和所述紋理貼圖，生成第一目標(biāo)對(duì)象的三維模型。

3.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，其中，所述根據(jù)第二視角的場(chǎng)景圖像的方位信息，將所述第一目標(biāo)對(duì)象的三維模型投影得到第一目標(biāo)對(duì)象的二維圖像，包括：

根據(jù)第二視角的場(chǎng)景圖像的拍攝參數(shù)，得到所述場(chǎng)景圖像的方位信息，所述方位信息包括所述場(chǎng)景圖像的平面方程；

調(diào)整所述第一目標(biāo)對(duì)象的三維模型的位姿，將所述第一目標(biāo)對(duì)象的三維模型投放到所述平面方程確定的平面上；

將投放后的第一目標(biāo)對(duì)象的三維模型投影得到第一目標(biāo)對(duì)象的二維圖像。

4.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，所述方法還包括：

利用圖像修復(fù)方法，將拍攝到的第二視角的備用圖像中的第二目標(biāo)對(duì)象去除；

將去除所述第二目標(biāo)對(duì)象的備用圖像作為所述第二視角的場(chǎng)景圖像。

5.根據(jù)權(quán)利要求1至2中任一項(xiàng)所述的方法，所述方法還包括：

根據(jù)所述第一目標(biāo)對(duì)象在所述合成圖像中的位置信息，得到所述合成圖像的標(biāo)注信息。

6.一種圖像合成裝置，包括：

處理單元，用于對(duì)包括第一目標(biāo)對(duì)象的第一視角的圖像進(jìn)行紋理補(bǔ)全處理，得到第一目標(biāo)對(duì)象的紋理貼圖；

生成單元，用于利用所述紋理貼圖生成第一目標(biāo)對(duì)象的三維模型；

投影單元，用于根據(jù)第二視角的場(chǎng)景圖像的方位信息，將所述第一目標(biāo)對(duì)象的三維模型投影得到第一目標(biāo)對(duì)象的二維圖像；

疊加單元，用于將所述第一目標(biāo)對(duì)象的二維圖像疊加到所述場(chǎng)景圖像中，得到第二視角的合成圖像；

其中，所述處理單元用于：將所述包括第一目標(biāo)對(duì)象的第一視角的圖像進(jìn)行分割，得到包括第一目標(biāo)對(duì)象的至少一個(gè)部件的分割圖像；在所述包括第一目標(biāo)對(duì)象的第一視角的圖像中，對(duì)所述第一目標(biāo)對(duì)象的位姿進(jìn)行標(biāo)注，得到位姿標(biāo)注信息；根據(jù)所述位姿標(biāo)注信息將所述分割圖像投影，得到第一目標(biāo)對(duì)象的待處理圖像；利用深度神經(jīng)網(wǎng)絡(luò)對(duì)所述待處理圖像進(jìn)行紋理補(bǔ)全處理，得到第一目標(biāo)對(duì)象的紋理貼圖。

7.根據(jù)權(quán)利要求6所述的裝置，其中，所述生成單元用于：

獲取第一目標(biāo)對(duì)象的可變形模板的變形參數(shù)，其中，所述變形參數(shù)與所述第一目標(biāo)對(duì)象的外觀形狀相對(duì)應(yīng)；

根據(jù)所述可變形模板的變形參數(shù)和所述紋理貼圖，生成第一目標(biāo)對(duì)象的三維模型。

8.根據(jù)權(quán)利要求6至7中任一項(xiàng)所述的裝置，其中，所述投影單元用于：

根據(jù)第二視角的場(chǎng)景圖像的拍攝參數(shù)，得到所述場(chǎng)景圖像的方位信息，所述方位信息包括所述場(chǎng)景圖像的平面方程；

調(diào)整所述第一目標(biāo)對(duì)象的三維模型的位姿，將所述第一目標(biāo)對(duì)象的三維模型投放到所述平面方程確定的平面上；

將投放后的第一目標(biāo)對(duì)象的三維模型投影得到第一目標(biāo)對(duì)象的二維圖像。