[發明專利]基于RGB-D圖像的前后景分離方法及其前后景分離裝置

有效

• 申請號: 201810085964.9
• 申請日: 2018-01-29
• 公開（公告）號: CN108447060B
• 公開（公告）日: 2021-07-09
• 發明（設計）人: 王俊;劉佩林;鄒耀;應忍冬;葛昊
• 申請（專利權）人: 上海數跡智能科技有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194
• 代理公司: 上海天翔知識產權代理有限公司 31224
• 代理人: 陳駿鍵

1.一種基于RGB-D圖像的前后景分離方法，其特征在于，包括以下步驟：

步驟S10，獲取需要進行前后景分離的RGB-D圖像，并對獲取到的RGB-D圖像進行讀取，其中所述RGB-D圖像由RGB圖像和深度圖像構成；

步驟S20，分別對所述RGB圖像和深度圖像進行背景掩碼矩陣計算，獲取所述RGB圖像和深度圖像的背景掩碼矩陣；

步驟S30，將所述RGB圖像和深度圖像的背景掩碼矩陣進行融合和校準處理得到最終的背景掩碼矩陣，再根據融合校準后的背景掩碼矩陣獲取所述RGB-D圖像的最終的前景圖像，從而實現將所述RGB-D圖像的前后景圖像進行分離；

所述步驟S20中，對所述RGB-D圖像中的深度圖像進行背景掩碼矩陣計算，獲取深度圖像的背景掩碼矩陣，包括以下步驟：

步驟S211，計算固定數量的初始化深度圖的均值和方差；

步驟S212，找出深度圖中的靜止區域，即其方差小于門限的區域；

步驟S213，根據靜止區域更新深度圖的背景數據，并優先考慮遠距離的背景數據；

步驟S214，計算背景掩碼矩陣，背景掩碼矩陣是一個0-1二值矩陣，將步驟S213計算得到的背景區域設置為1，其余區域設置為0。

2.如權利要求1所述的基于RGB-D圖像的前后景分離方法，其特征在于，在所述步驟S20中，對所述RGB-D圖像中的RGB圖像進行前景掩碼矩陣計算，獲取RGB圖像的背景掩碼矩陣，包括以下步驟：

步驟S221，根據固定數量的RGB圖像的初始幀建立背景模型；

步驟S222，計算RGB圖像的背景區域，對每一幀圖像，每一個像素點和背景模型作比較，判斷其是否屬于背景；

步驟S223，根據計算得到的背景區域更新背景模型；

步驟S224，計算背景掩碼矩陣，背景掩碼矩陣是一個0-1二值矩陣，將步驟S222計算得到的背景區域設置為1，其余區域設置為0。

3.如權利要求1所述的基于RGB-D圖像的前后景分離方法，其特征在于，在所述步驟S30中，將所述RGB圖像和深度圖像的背景掩碼矩陣進行融合和校準處理得到最終的背景掩碼矩陣，包括以下步驟：

步驟S31，將深度圖像的像素坐標轉換成世界坐標，根據深度相機的攝像頭內部參數來計算深度圖像的像素坐標與世界坐標的對應關系；

步驟S32，將RGB圖像的像素坐標轉換成世界坐標，根據RGB相機的攝像頭內部參數來計算RGB圖像的像素坐標與世界坐標的對應關系；

步驟S33，根據深度圖像的像素坐標和RGB圖像的像素坐標與世界坐標的對應關系，轉換成深度圖像的像素坐標和RGB圖像的像素坐標的對應關系；

步驟S34，根據深度圖像的像素坐標和RGB圖像的像素坐標的對應關系，對深度圖像的背景掩碼矩陣與RGB圖像的背景掩碼矩陣進行融合處理，得到RGB-D圖像的最終的背景掩碼矩陣。

4.一種實現如權利要求1至3中任一項所述的基于RGB-D圖像的前后景分離方法的前后景分離裝置，其特征在于，包括：

一圖像讀取單元，所述圖像讀取單元用于讀取需要進行前后景分離的RGB-D圖像，并可將讀取后的RGB-D圖像分解成RGB圖像和深度圖像；

一背景掩碼矩陣計算單元，所述背景掩碼矩陣計算單元由一RGB圖像背景掩碼矩陣計算模塊和一深度圖像背景掩碼矩陣計算模塊構成，所述RGB圖像背景掩碼矩陣計算模塊用于對所述圖像讀取單元讀取的RGB-D圖像的RGB圖像進行背景掩碼矩陣計算，并獲取RGB圖像的背景掩碼矩陣，所述深度圖像背景掩碼矩陣計算模塊用于對所述圖像讀取單元讀取的RGB-D圖像的深度圖像進行背景掩碼矩陣計算，并獲取深度圖像的背景掩碼矩陣；以及

一融合及校準單元，所述融合及校準單元用于將所述RGB圖像和深度圖像的背景掩碼矩陣進行融合和校準處理得到最終的背景掩碼矩陣，再根據融合校準后的背景掩碼矩陣獲取所述RGB-D圖像的最終的前景圖像。