[發(fā)明專利]圖像處理方法、裝置、電子設(shè)備、介質(zhì)和計算機程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202110246097.4
• 申請日: 2021-03-05
• 公開（公告）號: CN112967197A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 王詩吟;周強
• 申請（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/08
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 祝樂芳

本公開涉及一種圖像處理方法、裝置、電子設(shè)備、介質(zhì)和計算機程序產(chǎn)品。通過獲取原始圖像中的目標對象的可見區(qū)域的第一掩碼，其中，所述原始圖像中包含目標對象，所述目標對象部分區(qū)域被遮擋物遮擋；將所述原始圖像和所述第一掩碼堆疊后輸入目標神經(jīng)網(wǎng)絡(luò)模型中，得到所述原始圖像中的目標對象的目標完整掩碼，由于目標神經(jīng)網(wǎng)絡(luò)模型基于原始圖像樣本、目標對象樣本的預(yù)設(shè)解析掩碼以及目標對象樣本的參考完整掩碼訓(xùn)練得到的，考慮了目標對象各部分的語義信息，因此，得到目標對象的目標完整掩碼的準確性更高。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法、裝置、電子設(shè)備、介質(zhì)和計算機程序產(chǎn)品。

背景技術(shù)

在圖像處理領(lǐng)域，通常需要對圖像中一些被部分遮擋的目標對象進行補全，目標對象可以為人體或者其他物體，以人體為例，假設(shè)在一張圖像中，人體部分被遮擋物遮擋，則需要通過一系列的圖像處理，將人體被遮擋的部分補全，得到一個完整的人體。通常，對目標對象進行補全的過程中，通常需要預(yù)測目標對象的目標完整掩碼。

現(xiàn)有技術(shù)中，通常將原始圖像輸入到實例分割網(wǎng)絡(luò)中，通過實例分割網(wǎng)絡(luò)得到目標對象的可見區(qū)域的掩碼，然后再基于目標對象的可見區(qū)域的掩碼通過一個神經(jīng)網(wǎng)絡(luò)模型得到目標對象的目標完整掩碼。

然而，采用現(xiàn)有技術(shù)得到目標對象的目標完整掩碼的準確性不高。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本公開提供了一種圖像處理方法、裝置、電子設(shè)備、介質(zhì)和計算機程序產(chǎn)品。

本公開第一方面提供一種圖像的處理方法，包括：

獲取原始圖像中的目標對象的可見區(qū)域的第一掩碼，其中，所述原始圖像中包含目標對象，所述目標對象部分區(qū)域被遮擋物遮擋；

將所述原始圖像和所述第一掩碼堆疊后輸入目標神經(jīng)網(wǎng)絡(luò)模型中，得到所述原始圖像中的目標對象的目標完整掩碼，其中，所述目標神經(jīng)網(wǎng)絡(luò)模型基于原始圖像樣本、目標對象樣本的預(yù)設(shè)解析掩碼以及目標對象樣本的參考完整掩碼訓(xùn)練得到的，所述原始圖像樣本中包含所述目標對象樣本，所述目標對象樣本的部分區(qū)域被遮擋物遮擋，所述預(yù)設(shè)解析掩碼包含所述目標對象樣本的各部分的語義掩碼標簽。

可選的，還包括：

將所述目標對象的目標完整掩碼減去所述第一掩碼，得到所述目標對象的不可見區(qū)域的掩碼。

可選的，所述將所述原始圖像和所述第一掩碼堆疊后輸入目標神經(jīng)網(wǎng)絡(luò)模型中之后，還包括：

輸出所述原始圖像中的目標對象的完整解析掩碼，所述完整解析掩碼包含所述目標對象的各部分的語義掩碼標簽。

可選的，還包括：

將所述目標對象的目標完整掩碼減去所述第一掩碼，得到所述目標對象的不可見區(qū)域的掩碼；

將所述目標對象的不可見區(qū)域的掩碼與所述目標對象的完整解析掩碼相乘，得到所述目標對象的不可見區(qū)域的語義掩碼標簽。

可選的，所述獲取原始圖像中的目標對象的可見區(qū)域的第一掩碼之前，還包括：

獲取所述原始圖像樣本中的目標對象樣本的第二掩碼；

將所述原始圖像樣本和所述第二掩碼輸入神經(jīng)網(wǎng)絡(luò)模型中，得到所述原始圖像樣本中的目標對象樣本的目標完整掩碼和所述目標對象樣本的完整解析掩碼；

將所述目標對象樣本的參考完整掩碼和所述目標對象樣本的預(yù)設(shè)解析掩碼作為監(jiān)督信號，利用所述監(jiān)督信號及所述目標對象樣本的目標完整掩碼和所述目標對象樣本的完整解析掩碼得到損失函數(shù)，對所述神經(jīng)網(wǎng)絡(luò)模型進行訓(xùn)練，直到所述神經(jīng)網(wǎng)絡(luò)模型收斂，將收斂后的神經(jīng)網(wǎng)絡(luò)模型作為所述目標神經(jīng)網(wǎng)絡(luò)模型。

可選的，還包括：