[發(fā)明專利]基于3D體感攝像頭的視頻人像摳圖方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710705293.7
• 申請日: 2017-08-16
• 公開（公告）號: CN107610041B
• 公開（公告）日: 2020-10-27
• 發(fā)明（設(shè)計(jì)）人: 周曉軍;楊高峰;李驪;盛贊;李朔
• 申請（專利權(quán)）人: 南京華捷艾米軟件科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/194;G06T7/12;G06T7/70;G06T7/80;G06T7/50
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司 32200
• 代理人: 李明

1.一種基于3D體感攝像頭的視頻人像摳圖方法，其特征在于，所述方法包括：

利用3D體感攝像頭獲取目標(biāo)視頻圖像的深度圖序列幀和彩色圖序列幀；

對所述深度圖序列幀和彩色圖序列幀進(jìn)行時(shí)間戳標(biāo)記；

獲取每一幀的深度圖，以及與每一幀所述深度圖基于時(shí)間戳同步的每一幀的彩色圖，根據(jù)所述3D體感攝像頭的預(yù)設(shè)參數(shù)，對獲得的同步的深度圖幀和彩色圖幀進(jìn)行對齊插值匹配；

根據(jù)所述深度圖序列幀確定目標(biāo)視頻圖像中的人像的初始輪廓掩膜圖，并基于所述初始輪廓掩膜圖，提取所述初始輪廓掩膜圖中的人像像素，且對其余像素和人像邊緣的像素進(jìn)行預(yù)處理，以得到最終輪廓掩膜圖；

獲取紋理圖；

對同步的彩色圖幀和所述最終輪廓掩膜圖進(jìn)行混合，得到初始人像摳圖圖像；

對所述初始人像摳圖圖像進(jìn)行優(yōu)化處理，得到中間人像摳圖圖像；

基于所述中間人像摳圖圖像，利用所述紋理圖進(jìn)行渲染，以得到最終人像摳圖圖像，將所述最終人像摳圖圖像呈現(xiàn)給用戶。

2.根據(jù)權(quán)利要求1所述的視頻人像摳圖方法，其特征在于，所述3D體感攝像頭包括深度攝像機(jī)和彩色攝像機(jī)，所述深度攝像機(jī)用于獲取目標(biāo)視頻圖像的深度圖序列幀，所述彩色攝像機(jī)用于獲取目標(biāo)視頻圖像的彩色圖序列幀。

3.根據(jù)權(quán)利要求2所述的視頻人像摳圖方法，其特征在于，所述3D體感攝像頭的預(yù)設(shè)參數(shù)包括：

所述深度攝像機(jī)和所述彩色攝像機(jī)相對位置參數(shù)和視場角參數(shù)。

4.根據(jù)權(quán)利要求3所述的視頻人像摳圖方法，其特征在于，所述深度攝像機(jī)和所述彩色攝像機(jī)相對位置參數(shù)包括：

深度攝像機(jī)的內(nèi)部參數(shù)和鏡頭參數(shù)、彩色攝像機(jī)的內(nèi)部參數(shù)和鏡頭參數(shù)以及深度攝像機(jī)和彩色攝像機(jī)的夾角與相對距離中的至少一者。

5.根據(jù)權(quán)利要求2所述的視頻人像摳圖方法，其特征在于，所述彩色攝像機(jī)的分辨率高于所述深度攝像機(jī)的分辨率。

6.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的視頻人像摳圖方法，其特征在于，所述對所述深度圖序列幀和彩色圖序列幀進(jìn)行時(shí)間戳標(biāo)記的步驟中：

基于系統(tǒng)時(shí)鐘對所述深度圖序列幀和彩色圖序列幀進(jìn)行時(shí)間戳標(biāo)記。

7.根據(jù)權(quán)利要求2至5任意一項(xiàng)所述的視頻人像摳圖方法，其特征在于，所述根據(jù)所述3D體感攝像頭的預(yù)設(shè)參數(shù)，對獲得的同步的深度圖幀和彩色圖幀進(jìn)行對齊插值匹配的步驟包括：

根據(jù)所述深度攝像機(jī)和所述彩色攝像機(jī)的相對位置參數(shù)，將每一幀深度圖信息和同步的每一幀彩色圖信息進(jìn)行對齊匹配和映射；其中，一個(gè)像素的深度圖信息與一個(gè)或者多個(gè)像素的彩色圖信息對應(yīng)；

對所述深度圖信息進(jìn)行亞像素補(bǔ)插值處理，對彩色圖信息進(jìn)行邊緣優(yōu)化處理。

8.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的視頻人像摳圖方法，其特征在于，所述對其余像素和人像邊緣的像素進(jìn)行預(yù)處理，以得到最終輪廓掩膜圖的步驟包括：

將其余像素全都設(shè)置成黑色，并對所述人像邊緣像素進(jìn)行平滑處理，以得到所述最終輪廓掩膜圖形。

9.根據(jù)權(quán)利要求1至5任意一項(xiàng)所述的視頻人像摳圖方法，其特征在于，所述對所述初始人像摳圖圖像進(jìn)行優(yōu)化處理，得到中間人像摳圖圖像的步驟包括：

對所述初始人像摳圖圖像進(jìn)行邊緣優(yōu)化處理和/或腐蝕膨脹處理，以得到所述中間人像摳圖圖像。

10.一種視頻人像摳圖系統(tǒng)，其特征在于，所述視頻人像摳圖系統(tǒng)包括3D體感攝像頭，圖像處理模塊和顯示模塊，其中，

所述3D體感攝像頭用于獲取目標(biāo)視頻圖像的深度圖序列幀和彩色圖序列幀；

所述圖像處理模塊包括標(biāo)記子模塊、匹配子模塊、提取子模塊、混合子模塊、優(yōu)化子模塊和渲染子模塊；其中，

所述標(biāo)記子模塊用于對所述深度圖序列幀和彩色圖序列幀進(jìn)行時(shí)間戳標(biāo)記；

所述匹配子模塊用于獲取每一幀的深度圖，以及與每一幀所述深度圖基于時(shí)間戳同步的每一幀的彩色圖，根據(jù)所述3D體感攝像頭的預(yù)設(shè)參數(shù)，對獲得的同步的深度圖幀和彩色圖幀進(jìn)行對齊插值匹配；

所述提取子模塊用于根據(jù)所述深度圖序列幀確定目標(biāo)視頻圖像中的人像的初始輪廓掩膜圖，并基于所述初始輪廓掩膜圖，提取所述初始輪廓掩膜圖中的人像像素，且對其余像素和人像邊緣的像素進(jìn)行預(yù)處理，以得到最終輪廓掩膜圖；

所述混合子模塊用于對同步的彩色圖幀和所述最終輪廓掩膜圖進(jìn)行混合，得到初始人像摳圖圖像；

所述優(yōu)化子模塊用于對所述初始人像摳圖圖像進(jìn)行優(yōu)化處理，得到中間人像摳圖圖像；

所述渲染子模塊用于基于所述中間人像摳圖圖像，利用紋理圖進(jìn)行渲染，以得到最終人像摳圖圖像，將所述最終人像摳圖圖像呈現(xiàn)給用戶；

所述顯示模塊用于獲取用戶輸入的紋理圖；以及，向用戶顯示所述最終人像摳圖圖像。