[發(fā)明專利]圖像處理方法及裝置、電子裝置和計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710814289.4
• 申請(qǐng)日: 2017-09-11
• 公開（公告）號(hào): CN107527381B
• 公開（公告）日: 2023-05-12
• 發(fā)明（設(shè)計(jì)）人: 張學(xué)勇
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司
• 主分類號(hào): G06T15/20
• 分類號(hào): G06T15/20;G06T3/40;H04N23/95;G06T3/00
• 代理公司: 北京恒博知識(shí)產(chǎn)權(quán)代理有限公司 11528
• 代理人: 李昕巍

1.一種圖像處理方法，用于處理合并圖像，所述合并圖像由預(yù)定三維背景圖像與可跟隨當(dāng)前用戶動(dòng)作的預(yù)定前景圖像融合而成，所述預(yù)定前景圖像根據(jù)所述當(dāng)前用戶在場(chǎng)景圖像中的人物區(qū)域圖像的動(dòng)作信息渲染得到，其特征在于，所述圖像處理方法包括：

判斷連續(xù)兩幀所述合并圖像對(duì)應(yīng)的兩幀所述人物區(qū)域圖像的位置變化是否大于預(yù)定閾值，所述連續(xù)兩幀所述合并圖像包括前一幀合并圖像和當(dāng)前幀合并圖像；和

在所述位置變化大于預(yù)定閾值時(shí)，判斷所述位置變化的持續(xù)時(shí)間是否大于預(yù)定時(shí)間；和

在所述持續(xù)時(shí)間小于所述預(yù)定時(shí)間時(shí)，在所述持續(xù)時(shí)間內(nèi)，以所述前一幀合并圖像或所述預(yù)定三維背景圖像作為所述當(dāng)前幀合并圖像，或直接顯示所述預(yù)定三維背景圖像；

在所述持續(xù)時(shí)間大于所述預(yù)定時(shí)間時(shí)，在所述預(yù)定時(shí)間內(nèi)，以所述前一幀合并圖像或所述預(yù)定三維背景圖像作為所述當(dāng)前幀合并圖像，在所述預(yù)定時(shí)間后，以當(dāng)前幀的預(yù)定前景圖像與當(dāng)前幀的預(yù)定三維背景圖像融合以形成所述當(dāng)前幀合并圖像；其中，在所述當(dāng)前幀的預(yù)定前景圖像的場(chǎng)景圖像中包含人物區(qū)域圖像時(shí)，以所述當(dāng)前幀的人物區(qū)域圖像渲染對(duì)應(yīng)幀的預(yù)定前景圖像，并將渲染后的預(yù)定前景圖像與對(duì)應(yīng)的預(yù)定三維背景圖像融合以形成當(dāng)前幀合并圖像，在所述當(dāng)前幀的預(yù)定前景圖像的場(chǎng)景圖像中不包含人物區(qū)域圖像時(shí)，直接以未渲染的預(yù)定前景圖像與對(duì)應(yīng)的預(yù)定三維背景圖像融合以形成當(dāng)前幀合并圖像，或直接顯示所述預(yù)定三維背景圖像；

其中，所述預(yù)定三維背景圖像中的預(yù)定融合區(qū)域或計(jì)算融合區(qū)域可以是一個(gè)或者多個(gè)，當(dāng)預(yù)定融合區(qū)域?yàn)槎鄠€(gè)，在預(yù)定前景圖像為三維圖像時(shí)，在多個(gè)預(yù)定融合區(qū)域中尋找與所述預(yù)定前景圖像的深度信息相匹配的預(yù)定融合區(qū)域作為融合位置進(jìn)行融合；當(dāng)計(jì)算融合區(qū)域?yàn)槎鄠€(gè)，在預(yù)定前景圖像為三維圖像時(shí)，在多個(gè)計(jì)算融合區(qū)域中尋找與所述預(yù)定前景圖像的深度信息相匹配的計(jì)算融合區(qū)域作為融合位置進(jìn)行融合；

根據(jù)所述動(dòng)作信息渲染所述預(yù)定前景圖像；和將每幀渲染后的所述預(yù)定前景圖像與所述預(yù)定三維背景圖像融合得到多幀合并圖像以輸出視頻圖像；

其中，所述將每幀渲染后的所述預(yù)定前景圖像與所述預(yù)定三維背景圖像融合得到多幀合并圖像以輸出視頻圖像的步驟包括：處理每幀所述預(yù)定三維背景圖像以獲取每幀所述預(yù)定三維背景圖像的全場(chǎng)邊緣圖像；獲取每幀所述預(yù)定三維背景圖像的深度數(shù)據(jù)；根據(jù)每幀所述預(yù)定三維背景圖像的全場(chǎng)邊緣圖像及所述深度數(shù)據(jù)以確定每幀所述預(yù)定三維背景圖像的計(jì)算融合區(qū)域；根據(jù)與該幀所述預(yù)定三維背景圖像對(duì)應(yīng)的預(yù)定前景圖像確定所述計(jì)算融合區(qū)域的待替換像素區(qū)域；將所述計(jì)算融合區(qū)域的待替換像素區(qū)域替換為與該幀所述預(yù)定三維背景圖像對(duì)應(yīng)的所述預(yù)定前景圖像以得到所述合并圖像；和處理多幀所述合并圖像以輸出視頻圖像。

2.根據(jù)權(quán)利要求1所述的圖像處理方法，其特征在于，所述圖像處理方法還包括：

以預(yù)設(shè)頻率采集多幀當(dāng)前用戶的場(chǎng)景圖像；

以所述預(yù)設(shè)頻率采集多幀所述當(dāng)前用戶的深度圖像；

處理每幀所述場(chǎng)景圖像和每幀所述深度圖像以提取所述當(dāng)前用戶的動(dòng)作信息；

根據(jù)所述動(dòng)作信息渲染所述預(yù)定前景圖像以使每幀所述預(yù)定前景圖像跟隨所述當(dāng)前用戶的動(dòng)作；和

將每幀渲染后的所述預(yù)定前景圖像與所述預(yù)定三維背景圖像融合得到多幀合并圖像以輸出視頻圖像。

3.根據(jù)權(quán)利要求2所述的圖像處理方法，其特征在于，所述以所述預(yù)設(shè)頻率采集多幀所述當(dāng)前用戶的深度圖像的步驟包括：

向所述當(dāng)前用戶投射結(jié)構(gòu)光；

以所述預(yù)設(shè)頻率拍攝多幀經(jīng)所述當(dāng)前用戶調(diào)制的結(jié)構(gòu)光圖像；和

解調(diào)每幀所述結(jié)構(gòu)光圖像的各個(gè)像素對(duì)應(yīng)的相位信息以得到多幀所述深度圖像。

4.根據(jù)權(quán)利要求3所述的圖像處理方法，其特征在于，所述解調(diào)每幀所述結(jié)構(gòu)光圖像的各個(gè)像素對(duì)應(yīng)的相位信息以得到多幀所述深度圖像的步驟包括：

解調(diào)每幀所述結(jié)構(gòu)光圖像中各個(gè)像素對(duì)應(yīng)的相位信息；

將所述相位信息轉(zhuǎn)化為深度信息；和

根據(jù)所述深度信息生成所述深度圖像。