[發(fā)明專利]基于RGB-D圖像的前后景分離方法及其前后景分離裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810085964.9
• 申請(qǐng)日: 2018-01-29
• 公開(kāi)（公告）號(hào): CN108447060B
• 公開(kāi)（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 王俊;劉佩林;鄒耀;應(yīng)忍冬;葛昊
• 申請(qǐng)（專利權(quán)）人: 上海數(shù)跡智能科技有限公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T7/194
• 代理公司: 上海天翔知識(shí)產(chǎn)權(quán)代理有限公司 31224
• 代理人: 陳駿鍵

1.一種基于RGB-D圖像的前后景分離方法，其特征在于，包括以下步驟：

步驟S10，獲取需要進(jìn)行前后景分離的RGB-D圖像，并對(duì)獲取到的RGB-D圖像進(jìn)行讀取，其中所述RGB-D圖像由RGB圖像和深度圖像構(gòu)成；

步驟S20，分別對(duì)所述RGB圖像和深度圖像進(jìn)行背景掩碼矩陣計(jì)算，獲取所述RGB圖像和深度圖像的背景掩碼矩陣；

步驟S30，將所述RGB圖像和深度圖像的背景掩碼矩陣進(jìn)行融合和校準(zhǔn)處理得到最終的背景掩碼矩陣，再根據(jù)融合校準(zhǔn)后的背景掩碼矩陣獲取所述RGB-D圖像的最終的前景圖像，從而實(shí)現(xiàn)將所述RGB-D圖像的前后景圖像進(jìn)行分離；

所述步驟S20中，對(duì)所述RGB-D圖像中的深度圖像進(jìn)行背景掩碼矩陣計(jì)算，獲取深度圖像的背景掩碼矩陣，包括以下步驟：

步驟S211，計(jì)算固定數(shù)量的初始化深度圖的均值和方差；

步驟S212，找出深度圖中的靜止區(qū)域，即其方差小于門(mén)限的區(qū)域；

步驟S213，根據(jù)靜止區(qū)域更新深度圖的背景數(shù)據(jù)，并優(yōu)先考慮遠(yuǎn)距離的背景數(shù)據(jù)；

步驟S214，計(jì)算背景掩碼矩陣，背景掩碼矩陣是一個(gè)0-1二值矩陣，將步驟S213計(jì)算得到的背景區(qū)域設(shè)置為1，其余區(qū)域設(shè)置為0。

2.如權(quán)利要求1所述的基于RGB-D圖像的前后景分離方法，其特征在于，在所述步驟S20中，對(duì)所述RGB-D圖像中的RGB圖像進(jìn)行前景掩碼矩陣計(jì)算，獲取RGB圖像的背景掩碼矩陣，包括以下步驟：

步驟S221，根據(jù)固定數(shù)量的RGB圖像的初始幀建立背景模型；

步驟S222，計(jì)算RGB圖像的背景區(qū)域，對(duì)每一幀圖像，每一個(gè)像素點(diǎn)和背景模型作比較，判斷其是否屬于背景；

步驟S223，根據(jù)計(jì)算得到的背景區(qū)域更新背景模型；

步驟S224，計(jì)算背景掩碼矩陣，背景掩碼矩陣是一個(gè)0-1二值矩陣，將步驟S222計(jì)算得到的背景區(qū)域設(shè)置為1，其余區(qū)域設(shè)置為0。

3.如權(quán)利要求1所述的基于RGB-D圖像的前后景分離方法，其特征在于，在所述步驟S30中，將所述RGB圖像和深度圖像的背景掩碼矩陣進(jìn)行融合和校準(zhǔn)處理得到最終的背景掩碼矩陣，包括以下步驟：

步驟S31，將深度圖像的像素坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)，根據(jù)深度相機(jī)的攝像頭內(nèi)部參數(shù)來(lái)計(jì)算深度圖像的像素坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系；

步驟S32，將RGB圖像的像素坐標(biāo)轉(zhuǎn)換成世界坐標(biāo)，根據(jù)RGB相機(jī)的攝像頭內(nèi)部參數(shù)來(lái)計(jì)算RGB圖像的像素坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系；

步驟S33，根據(jù)深度圖像的像素坐標(biāo)和RGB圖像的像素坐標(biāo)與世界坐標(biāo)的對(duì)應(yīng)關(guān)系，轉(zhuǎn)換成深度圖像的像素坐標(biāo)和RGB圖像的像素坐標(biāo)的對(duì)應(yīng)關(guān)系；

步驟S34，根據(jù)深度圖像的像素坐標(biāo)和RGB圖像的像素坐標(biāo)的對(duì)應(yīng)關(guān)系，對(duì)深度圖像的背景掩碼矩陣與RGB圖像的背景掩碼矩陣進(jìn)行融合處理，得到RGB-D圖像的最終的背景掩碼矩陣。

4.一種實(shí)現(xiàn)如權(quán)利要求1至3中任一項(xiàng)所述的基于RGB-D圖像的前后景分離方法的前后景分離裝置，其特征在于，包括：

一圖像讀取單元，所述圖像讀取單元用于讀取需要進(jìn)行前后景分離的RGB-D圖像，并可將讀取后的RGB-D圖像分解成RGB圖像和深度圖像；

一背景掩碼矩陣計(jì)算單元，所述背景掩碼矩陣計(jì)算單元由一RGB圖像背景掩碼矩陣計(jì)算模塊和一深度圖像背景掩碼矩陣計(jì)算模塊構(gòu)成，所述RGB圖像背景掩碼矩陣計(jì)算模塊用于對(duì)所述圖像讀取單元讀取的RGB-D圖像的RGB圖像進(jìn)行背景掩碼矩陣計(jì)算，并獲取RGB圖像的背景掩碼矩陣，所述深度圖像背景掩碼矩陣計(jì)算模塊用于對(duì)所述圖像讀取單元讀取的RGB-D圖像的深度圖像進(jìn)行背景掩碼矩陣計(jì)算，并獲取深度圖像的背景掩碼矩陣；以及

一融合及校準(zhǔn)單元，所述融合及校準(zhǔn)單元用于將所述RGB圖像和深度圖像的背景掩碼矩陣進(jìn)行融合和校準(zhǔn)處理得到最終的背景掩碼矩陣，再根據(jù)融合校準(zhǔn)后的背景掩碼矩陣獲取所述RGB-D圖像的最終的前景圖像。