[發(fā)明專利]基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011313114.3
• 申請(qǐng)日: 2020-11-20
• 公開（公告）號(hào): CN112488967A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 鐘微;操奎;葉龍;方力;張勤
• 申請(qǐng)（專利權(quán)）人: 中國(guó)傳媒大學(xué)
• 主分類號(hào): G06T5/40
• 分類號(hào): G06T5/40;G06T5/50;G06T7/11;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 北京鴻元知識(shí)產(chǎn)權(quán)代理有限公司 11327
• 代理人: 張超艷;董永輝

1.一種基于室內(nèi)場(chǎng)景的對(duì)象和場(chǎng)景合成方法，其中，將對(duì)象合成到場(chǎng)景中，包括：

獲得對(duì)象和場(chǎng)景的原始圖像；

構(gòu)建對(duì)象位置關(guān)系約束模型、對(duì)象尺度關(guān)系約束模型和對(duì)象遮擋關(guān)系約束模型，所述對(duì)象位置關(guān)系約束模型用于約束對(duì)象在場(chǎng)景中的可合成位置，所述對(duì)象尺度關(guān)系約束模型用于約束對(duì)象相對(duì)于場(chǎng)景的尺度比例，所述對(duì)象遮擋關(guān)系約束模型用于約束對(duì)象與場(chǎng)景中的物體的遮擋關(guān)系；

根據(jù)對(duì)象位置關(guān)系約束模型獲得對(duì)象在場(chǎng)景中的可合成位置；

根據(jù)對(duì)象尺度關(guān)系約束模型獲得對(duì)象相對(duì)于場(chǎng)景的尺度比例；

根據(jù)對(duì)象遮擋關(guān)系約束模型獲得不同可合成位置的所述尺度比例的對(duì)象與場(chǎng)景中物體的不同的遮擋關(guān)系；

將所述尺度比例的對(duì)象按照對(duì)應(yīng)的遮擋關(guān)系在對(duì)應(yīng)的可合成位置進(jìn)行渲染，獲得對(duì)應(yīng)的對(duì)象和場(chǎng)景的合成圖像；

其中，所述構(gòu)建對(duì)象位置關(guān)系約束模型的步驟包括：

構(gòu)建語(yǔ)義分割網(wǎng)絡(luò)，所述語(yǔ)義分割網(wǎng)絡(luò)的輸入是場(chǎng)景的原始圖像的RGB圖像，輸出是各像素點(diǎn)對(duì)應(yīng)的語(yǔ)義標(biāo)簽，所述語(yǔ)義標(biāo)簽是場(chǎng)景中的物體對(duì)應(yīng)的標(biāo)簽；

構(gòu)建語(yǔ)義特征提取網(wǎng)絡(luò)，設(shè)定場(chǎng)景的布局標(biāo)簽，將場(chǎng)景劃分成對(duì)應(yīng)的布局區(qū)域，所述布局標(biāo)簽包括圖像場(chǎng)景、墻壁和地面的連接處，墻壁和墻壁的連接處以及墻壁和天花板的連接處，所述布局區(qū)域包括地面、墻面和天花板，所述語(yǔ)義特征提取網(wǎng)絡(luò)的輸入是語(yǔ)義標(biāo)簽，輸出是布局標(biāo)簽；

構(gòu)建場(chǎng)景布局估計(jì)網(wǎng)絡(luò)，共享語(yǔ)義分割網(wǎng)絡(luò)和語(yǔ)義特征提取網(wǎng)絡(luò)的權(quán)重，獲得各像素點(diǎn)對(duì)應(yīng)的布局標(biāo)簽；

根據(jù)對(duì)象占位的合理性，限定對(duì)象在場(chǎng)景合成中的可合成位置，所述對(duì)象占位的合理性是指布局區(qū)域能夠?yàn)閷?duì)象提供合理的支撐。

2.根據(jù)權(quán)利要求1所述的對(duì)象和場(chǎng)景合成方法，其中，還包括：

構(gòu)建對(duì)象風(fēng)格關(guān)系約束模型，所述對(duì)象風(fēng)格關(guān)系約束模型用于約束對(duì)象相對(duì)于場(chǎng)景的風(fēng)格；

根據(jù)對(duì)象風(fēng)格關(guān)系約束模型調(diào)整對(duì)象的原始圖像的顏色風(fēng)格，使得對(duì)象與場(chǎng)景自然融合；

將顏色風(fēng)格調(diào)整后的對(duì)象按照所述尺度比例和遮擋關(guān)系在選定的可合成位置渲染，獲得對(duì)象和場(chǎng)景的合成圖像。

3.根據(jù)權(quán)利要求1所述的對(duì)象和場(chǎng)景合成方法，其中，所述構(gòu)建對(duì)象位置關(guān)系約束模型的步驟還包括：

獲得墻壁和地面的連接處及墻壁和天花板的連接處的布局標(biāo)簽對(duì)應(yīng)的邊緣節(jié)點(diǎn)，包括：將場(chǎng)景布局估計(jì)網(wǎng)絡(luò)的布局輸出圖像的邊緣像素展開為一維向量，將每個(gè)邊緣區(qū)段的中間點(diǎn)像素，作為邊緣節(jié)點(diǎn)；

獲得墻壁和墻壁連接處的布局標(biāo)簽對(duì)應(yīng)的中間節(jié)點(diǎn)，包括：利用霍夫變換檢測(cè)墻壁與墻壁之間的豎直線段，線段的端點(diǎn)為中間節(jié)點(diǎn)；

連接邊緣節(jié)點(diǎn)和中間節(jié)點(diǎn)，生成場(chǎng)景的布局結(jié)構(gòu)圖。

4.根據(jù)權(quán)利要求1所述的對(duì)象和場(chǎng)景合成方法，其中，所述構(gòu)建對(duì)象尺度關(guān)系約束模型的步驟包括：對(duì)象的尺度大小以室內(nèi)場(chǎng)景的墻高為參考，對(duì)象與墻壁之間的距離為自變量，對(duì)象的尺度為因變量，呈線性變化。

5.根據(jù)權(quán)利要求1所述的對(duì)象和場(chǎng)景合成方法，其中，所述構(gòu)建遮擋關(guān)系約束模型的步驟包括：

對(duì)對(duì)象的可合成位置所在布局區(qū)域的物體進(jìn)行掩碼提取；

判斷對(duì)象的可合成位置是否在物體像素之上；

如果可合成位置在物體像素之上，所述物體遮擋對(duì)象；

如果可合成位置不在物體像素之上，對(duì)象不受物體遮擋。

6.根據(jù)權(quán)利要求2所述的對(duì)象和場(chǎng)景合成方法，其中，所述構(gòu)建對(duì)象風(fēng)格關(guān)系約束模型的步驟包括：

調(diào)整對(duì)象的亮度和飽和度使得對(duì)象與場(chǎng)景風(fēng)格兼容，包括：將對(duì)象和場(chǎng)景在色彩空間中建立圖像直方圖，通過(guò)移動(dòng)對(duì)象的相應(yīng)統(tǒng)計(jì)量的圖像直方圖，以約束對(duì)象與場(chǎng)景的圖像直方圖的亮度和飽和度的一致性最大；

調(diào)整對(duì)象的局部對(duì)比度和相關(guān)色溫使得對(duì)象與場(chǎng)景風(fēng)格兼容，包括：通過(guò)局部對(duì)比度和相關(guān)色溫結(jié)合HSL通道，調(diào)整對(duì)象的外觀，使得對(duì)象和場(chǎng)景圖像風(fēng)格兼容。