[發(fā)明專利]基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011313114.3
• 申請(qǐng)日: 2020-11-20
• 公開（公告）號(hào): CN112488967A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 鐘微;操奎;葉龍;方力;張勤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)傳媒大學(xué)
• 主分類號(hào): G06T5/40
• 分類號(hào): G06T5/40;G06T5/50;G06T7/11;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 北京鴻元知識(shí)產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;董永輝

本發(fā)明提供一種基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法及系統(tǒng)，包括：獲得對(duì)象和場(chǎng)景原始圖像；構(gòu)建對(duì)象位置關(guān)系約束模型、對(duì)象尺度關(guān)系約束模型和對(duì)象遮擋關(guān)系約束模型；根據(jù)對(duì)象位置關(guān)系約束模型獲得對(duì)象在場(chǎng)景中的可合成位置；根據(jù)對(duì)象尺度關(guān)系約束模型獲得對(duì)象相對(duì)于場(chǎng)景的尺度比例；根據(jù)對(duì)象遮擋關(guān)系約束模型獲得不同可合成位置的所述尺度比例的對(duì)象與場(chǎng)景中物體的不同的遮擋關(guān)系；將所述尺度比例的對(duì)象按照對(duì)應(yīng)的遮擋關(guān)系在對(duì)應(yīng)的可合成位置進(jìn)行渲染，獲得對(duì)應(yīng)的對(duì)象和場(chǎng)景的合成圖像。上述方法及系統(tǒng)引入場(chǎng)景理解，使合成圖像更加真實(shí)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及圖像合成技術(shù)領(lǐng)域，更為具體地，涉及基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法及系統(tǒng)。

背景技術(shù)

在圖像合成的相關(guān)研究和技術(shù)中，目前主流的方法可分為基于剪切-粘貼方式的圖像合成、基于渲染的圖像合成和基于對(duì)抗學(xué)習(xí)的圖像合成。其中，基于剪切-粘貼的方法較為直接，通過對(duì)場(chǎng)景圖像的特征學(xué)習(xí)來選擇待合成的物體并進(jìn)行一定的增強(qiáng)，將其粘貼到目標(biāo)背景之中，因此這類方法的圖像合成過程具有一定的隨機(jī)性。基于渲染的圖像合成方法通常有較好的融合效果，但這類方法需要顯式地重建背景圖像的幾何信息和光照信息。在基于對(duì)抗學(xué)習(xí)的圖像合成方面，由于生成器的輸入變量是隨機(jī)的，這類方法往往不容易控制圖像合成的過程。因此，目前的圖像合成方法雖然能夠從幾何、外觀等方面使得合成對(duì)象與場(chǎng)景圖像自然融合，但是大都存在兩個(gè)問題：(1)缺少對(duì)室內(nèi)場(chǎng)景的布局估計(jì)工作，忽略了場(chǎng)景中可合成位置的概率分布，因此難以處理多種合成位置的情況；(2)忽略了合成對(duì)象的位置與尺度、遮擋之間的關(guān)系約束模型(不同的合成位置約束著合成對(duì)象的尺度大小和不同的遮擋關(guān)系)，因此合成人物與場(chǎng)景物體之間的遮擋關(guān)系較為單一。

發(fā)明內(nèi)容

鑒于上述問題，本申請(qǐng)的目的是提供一種基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法，將對(duì)象合成到場(chǎng)景中，包括：

獲得對(duì)象和場(chǎng)景的原始圖像；

構(gòu)建對(duì)象位置關(guān)系約束模型、對(duì)象尺度關(guān)系約束模型和對(duì)象遮擋關(guān)系約束模型，所述對(duì)象位置關(guān)系約束模型用于約束對(duì)象在場(chǎng)景中的可合成位置，所述對(duì)象尺度關(guān)系約束模型用于約束對(duì)象相對(duì)于場(chǎng)景的尺度比例，所述對(duì)象遮擋關(guān)系約束模型用于約束對(duì)象與場(chǎng)景中的物體的遮擋關(guān)系；

根據(jù)對(duì)象位置關(guān)系約束模型獲得對(duì)象在場(chǎng)景中的可合成位置；

根據(jù)對(duì)象尺度關(guān)系約束模型獲得對(duì)象相對(duì)于場(chǎng)景的尺度比例；

根據(jù)對(duì)象遮擋關(guān)系約束模型獲得不同可合成位置的所述尺度比例的對(duì)象與場(chǎng)景中物體的不同的遮擋關(guān)系；

將所述尺度比例的對(duì)象按照對(duì)應(yīng)的遮擋關(guān)系在對(duì)應(yīng)的可合成位置進(jìn)行渲染，獲得對(duì)應(yīng)的對(duì)象和場(chǎng)景的合成圖像；

其中，所述構(gòu)建對(duì)象位置關(guān)系約束模型的步驟包括：

構(gòu)建語義分割網(wǎng)絡(luò)，所述語義分割網(wǎng)絡(luò)的輸入是場(chǎng)景的原始圖像的RGB圖像，輸出是各像素點(diǎn)對(duì)應(yīng)的語義標(biāo)簽，所述語義標(biāo)簽是場(chǎng)景中的物體對(duì)應(yīng)的標(biāo)簽；

構(gòu)建語義特征提取網(wǎng)絡(luò)，設(shè)定場(chǎng)景的布局標(biāo)簽，將場(chǎng)景劃分成對(duì)應(yīng)的布局區(qū)域，所述布局標(biāo)簽包括圖像場(chǎng)景、墻壁和地面的連接處，墻壁和墻壁的連接處以及墻壁和天花板的連接處，所述布局區(qū)域包括地面、墻面和天花板，所述語義特征提取網(wǎng)絡(luò)的輸入是語義標(biāo)簽，輸出是布局標(biāo)簽；

構(gòu)建場(chǎng)景布局估計(jì)網(wǎng)絡(luò)，共享語義分割網(wǎng)絡(luò)和語義特征提取網(wǎng)絡(luò)的權(quán)重，獲得各像素點(diǎn)對(duì)應(yīng)的布局標(biāo)簽；

根據(jù)對(duì)象占位的合理性，限定對(duì)象在場(chǎng)景合成中的可合成位置，所述對(duì)象占位的合理性是指布局區(qū)域能夠?yàn)閷?duì)象提供合理的支撐。

優(yōu)選地，包括：

構(gòu)建對(duì)象風(fēng)格關(guān)系約束模型，所述對(duì)象風(fēng)格關(guān)系約束模型用于約束對(duì)象相對(duì)于場(chǎng)景的風(fēng)格；

根據(jù)對(duì)象風(fēng)格關(guān)系約束模型調(diào)整對(duì)象的原始圖像的顏色風(fēng)格，使得對(duì)象與場(chǎng)景自然融合；