[發明專利]一種基于深度圖分割的圖像背景估計方法

有效

• 申請號: 202110593174.3
• 申請日: 2021-05-28
• 公開（公告）號: CN113436220B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 馬天龍;楊舒文
• 申請（專利權）人: 華東師范大學
• 主分類號: G06T7/136
• 分類號: G06T7/136;G06V10/40;G06K9/62;G06N3/04;G06N3/08;G06T5/40;G06T7/194;G06T7/90;G06V10/764
• 代理公司: 上海藍迪專利商標事務所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發明公開了一種基于深度圖分割的圖像背景估計方法，其特點是該方法利用預訓練好的深度補全網絡，以RGB圖像作為指導對深度圖像進行空洞填充；將直方圖統計得到深度圖像的全局統計特征作為多層感知機的輸入，得到的兩個自適應閾值，利用兩個閾值計算背景圖掩碼，將掩碼與原圖像求交即可得到預測的背景部分。本發明與現有技術相比具有識別的準確度高，根據深度圖統計特征求出分割所需的閾值，不需要手工為每幅圖設定閾值，具有一定的便利性，降低了深度圖像中不完整信息對分割結果的影響，較好解決了不完整深度信息背景識別和背景分割的難題。

技術領域

本發明涉及數字圖像處理技術領域，具體的說是一種基于深度圖分割的圖像背景估計方法。

背景技術

隨著計算機算力的大幅提升以及工業界對圖像信號的智能化處理需求的增加，移除圖像中的背景部分并提取關鍵目標信息成為圖像處理中重要的預處理步驟。在一些交互式游戲、手勢識別及人體檢測與識別中，背景移除也起到了至關重要的作用，其會直接影響到識別檢測的準確率。

目前，最常用的背景移除方法是基于顏色或灰度的背景減法，即將圖像與提前拍攝好的背景圖像做差，如果像素差值小于某個閾值，則判定該像素點為背景的一部分。直觀上背景減法是將待處理圖像與背景圖像上顏色或灰度值相近的部分去掉。基于顏色或灰度的背景減法操作簡單且識別速度快，但這種方法有以下幾點問題：

如果前景部分區域與背景顏色相似，那么該方法會將這部分區域誤當成背景刪除，使得獲取的圖像存在許多空洞。另外，物體投射到背景的投影也會被該方法誤認為是前景。當然，這些問題可以通過計算對強度變化不太敏感的顏色空間(如色調、對數顏色)的差來弱化這些問題，但結果與預期還是有很大差異。

和灰度圖以及彩色圖相比，深度圖本身就具有易區分的前后層次關系，所以用深度圖來進行背景估計相比灰度圖和彩色圖更具優勢。但由于深度相機精度不高，拍攝出來的深度信息非常稀疏，深度圖像可能會包含很多空洞，這對后續的背景分割操作帶來諸多不便。因此，如何利用不完整的深度信息進行背景識別是本發明需要解決的關鍵問題。

發明內容

本發明的目的是針對現有技術的不足而設計的一種基于深度圖分割的圖像背景估計方法，采用彩色RGB圖像和深度圖像的特征融合，通過解碼得到完整深度圖像，以及多層感知機求出深度圖像的自適應閾值，并利用該閾值對圖像進行分割得到背景部分，大大降低了深度圖像中不完整信息對分割結果的影響，方法簡便，識別的準確度高，較好解決了不完整深度信息背景識別和背景分割的難題。

實現本發明目的的具體技術方案是：一種基于深度圖分割的圖像背景估計方法，其特點包括下述步驟：

(一)預訓練深度補全網絡模型

1-1：將NYU Depth V2數據集采集的彩色RGB圖像、原始深度圖像以及人工標注后的深度圖像作為訓練集和驗證集，所述訓練集和驗證集按9:1進行采集；所述人工標注即對深度圖中的空洞進行填充。

1-2：定義以彩色RGB圖像作為指導，對原始深度圖像進行空洞填充的深度補全網絡模型，所述深度補全網絡模型是通過RGB編碼器和深度編碼器分別提取RGB圖像和深度圖像的特征，然后對兩特征進行特征融合后輸入到深度解碼器中去預測補全后的完整深度圖，利用求得的深度圖和人工標注深度圖構建損失函數，具體操作包括如下步驟：

1-2-1：提取圖像特征

用兩個resnet-50網絡分別提取RGB圖像和深度圖像的特征，每個網絡先對圖像進行卷積操作，之后包括4個殘差塊，其中，第一個殘差塊包括9個卷積網絡；第二個殘差塊包括12個卷積網絡；第三個殘差塊包括18卷積網絡；第四個殘差塊包括9個卷積網絡；然后將RGB圖像和深度圖像分別輸入到兩個網絡中得到RGB圖像特征及深度圖像特征。

1-2-2：特征融合

采用對應元素相加的方式對上述兩空間維度一樣的RGB圖像特征和深度圖像特征進行融合。