[發明專利]一種深度圖人像邊緣優化方法及處理裝置

有效

• 申請號: 202010422372.9
• 申請日: 2020-05-19
• 公開（公告）號: CN111553940B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 趙曉剛;王永濱;江南;余維學
• 申請（專利權）人: 上海海櫟創科技股份有限公司
• 主分類號: G06T7/50
• 分類號: G06T7/50;G06T7/136;G06T7/13;G06T7/11;G06V10/774
• 代理公司: 上海和華啟核知識產權代理有限公司 31339
• 代理人: 王仙子

本發明提出了一種深度圖人像邊緣優化方法及處理裝置，包括深度圖像采集模塊，置信度估計模塊，深度學習模塊，人像特征訓練模塊，以及邊緣優化模塊；深度圖像采集模塊獲取到人像的深度圖與原圖，將深度圖以及原圖傳輸給置信度估計模塊；置信度估計模塊將深度圖像轉化為三元圖，原圖與三元圖傳輸到深度學習模塊中，得到修正后的三元圖，然后三元圖與原圖傳輸給人像特征訓練模塊對原圖上前景背景上的點進行分類訓練，再將分類模型以及原圖傳遞給邊緣優化模塊；邊緣優化模塊根據獲取到分類模型對三元圖上的未知區域內的點進行預測和深度填充，最終得到優化后的人像深度圖像。

技術領域

本發明涉及視覺及圖像處理技術領域，尤其涉及一種深度圖人像邊緣優化方法及處理裝置。

背景技術

隨著科學技術的發展，目前雙攝算法已基本成為智能手機的標配之一，很多智能手機廠商都紛紛推出自己的人像背景虛化效果，以期望在手機上獲得與單反相機近似的背景虛化效果，提升人像拍攝的美學效果。但是，因受到雙攝攝像頭成像效果不一致、運動模糊、光噪聲等影響，獲取到深度圖像中，人像深度圖中的人像邊緣往往是不完整的，人像邊緣的深度信息準確性比較低，并不能很好的貼近人像的真實邊界，直接使用這種深度圖直接對背景進行虛化，會造成人像邊緣有鋸齒、部分人像被虛化，部分背景未虛化等問題，在某些場景下的虛化效果不理想，這為用戶的使用帶來了不便。

發明內容

本發明提出的一種深度圖人像邊緣優化方法及處理裝置，以優化人像深度圖人像邊緣，使得人像的邊緣更完整。

根據本發明的第一方面，提出一種深度圖人像邊緣優化處理裝置，包括：

深度圖像采集模塊，置信度估計模塊，深度學習模塊，人像特征訓練模塊，以及邊緣優化模塊；

所述深度圖像采集模塊獲取人像的深度圖與原圖；

所述置信度估計模塊將所述深度圖像轉化為包括前景、背景、未知的三元圖；

所述深度學習模塊結合原圖對所述三元圖進行估計與修正，得到修正后的三元圖；

所述人像特征訓練模塊根據所述修正后的三元圖以及原圖，對原圖上前景、背景上的點進行分類訓練，獲得分類模型；以及

所述邊緣優化模塊根據所述分類模型，對所述修正后的三元圖上的未知區域內的點進行預測和深度填充，得到優化后的人像深度圖像。

根據本發明的第二方面，提供一種深度圖人像邊緣優化方法，包括步驟：

深度圖像采集模塊獲取人像的深度圖與原圖，將深度圖以及原圖傳輸給置信度估計模塊；

所述置信度估計模塊將深度圖像轉化為包括前景、背景、未知的三元圖，并將所述原圖與所述三元圖傳輸到深度學習模塊中；

所述深度學習模塊對所述三元圖進行估計與修正，得到修正后的三元圖，然后將所述修正后的三元圖與原圖傳輸給人像特征訓練模塊；

所述人像特征訓練模塊根據所述修正后的三元圖以及原圖，對原圖上前景、背景上的點進行分類訓練獲得分類模型，使分類模型可以準確的估計前景與背景點；以及

所述邊緣優化模塊獲取所述分類模型，對所述修正后的三元圖上的未知區域內的點進行預測和深度填充，得到優化后的人像深度圖像。

本發明實施例中，可以快速準確的對人像深度圖邊緣進行優化，提高人像深度圖的邊緣深度信息的準確性，能更好的逼近人像的真實邊界。

另外，根據本發明的一個實施例，所述邊緣優化模塊根據所述分類模型，對所述修正后的三元圖上的未知區域內的點進行預測包括：將所述未知區域準確的分為前景與背景。