[發(fā)明專利]圖像處理方法和裝置

在審

• 申請?zhí)枺?/td>: 202110247369.2
• 申請日: 2021-03-05
• 公開（公告）號: CN112967198A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 王詩吟;周強
• 申請（專利權(quán)）人: 北京字跳網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/02
• 代理公司: 北京開陽星知識產(chǎn)權(quán)代理有限公司 11710
• 代理人: 祝樂芳

本公開涉及一種圖像處理方法和裝置。該方法包括：獲取待處理圖像和第一掩碼，其中，待處理圖像包含目標對象，目標對象的部分區(qū)域被遮擋物遮擋，第一掩碼為目標對象的未被遮擋物遮擋的區(qū)域的掩碼，或者目標對象的被遮擋物遮擋的區(qū)域的掩碼；根據(jù)待處理圖像和第一掩碼，補全目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容。從而，能夠?qū)⒆⒁饬性谀繕藢ο蟮谋徽趽跷镎趽醯膮^(qū)域的變化趨勢或者目標對象的未被遮擋物遮擋的區(qū)域的變化趨勢上，補齊待處理圖像中目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容，減少了推斷目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容的計算量，有利于可靠地完成了目標追蹤、目標檢測、圖像分割等任務(wù)。

技術(shù)領(lǐng)域

本公開涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法和裝置。

背景技術(shù)

在圖像的采集過程中，受到光照、設(shè)備、算法等因素的影響，圖像容易受損或者受到噪聲干擾，導致圖像無法正確表達內(nèi)容。因此，圖像修復(inpainting)已成為計算機視覺任務(wù)預處理的重要步驟之一，且與目標追蹤、目標檢測、圖像分割等任務(wù)結(jié)果具有直接關(guān)聯(lián)。

目前，圖像的修復過程常常采用神經(jīng)網(wǎng)絡(luò)模型來補全圖像。神經(jīng)網(wǎng)絡(luò)模型通常會直接套用注意力機制來推斷圖像需要補全的內(nèi)容。

然而，圖像需要補全的內(nèi)容在神經(jīng)網(wǎng)絡(luò)模型的處理過程中是變化的，如基于部分卷積的填充(PartialConv)的神經(jīng)網(wǎng)絡(luò)模型，但注意力機制無法成功捕捉上述特點，導致神經(jīng)網(wǎng)絡(luò)模型推斷出的圖像需要補全的內(nèi)容不夠準確，不利于實現(xiàn)目標追蹤、目標檢測、圖像分割等任務(wù)，還增加了神經(jīng)網(wǎng)絡(luò)模型的計算量，導致無法及時獲得圖像需要補全的內(nèi)容。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題或者至少部分地解決上述技術(shù)問題，本公開提供了一種圖像處理方法和裝置。

第一方面，本公開提供了一種圖像處理方法，包括：

獲取待處理圖像和第一掩碼，其中，待處理圖像包含目標對象，目標對象的部分區(qū)域被遮擋物遮擋，第一掩碼為目標對象的未被遮擋物遮擋的區(qū)域的掩碼，或者目標對象的被遮擋物遮擋的區(qū)域的掩碼；

將待處理圖像和第一掩碼輸入到神經(jīng)網(wǎng)絡(luò)模型中，補全目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容。

通過第一方面提供的方法，在注意力機制中引入目標對象的未被遮擋物遮擋的區(qū)域的掩碼或者目標對象的被遮擋物遮擋的區(qū)域的掩碼，使得注意力機制能夠?qū)⒆⒁饬性谀繕藢ο蟮谋徽趽跷镎趽醯膮^(qū)域的變化趨勢或者目標對象的未被遮擋物遮擋的區(qū)域的變化趨勢上，以便基于待處理圖像中目標對象的未被遮擋物遮擋的區(qū)域的特點以及預測的目標對象的完整區(qū)域的特點，準確推斷出目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容，實現(xiàn)了待處理圖像中目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容的補全，能夠準確地輸出補齊目標對象的被遮擋物遮擋的區(qū)域后的待處理圖像，減少了推斷目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容的計算量，有利于可靠地完成了目標追蹤、目標檢測、圖像分割等任務(wù)。

在一種可能的設(shè)計中，將待處理圖像和第一掩碼輸入到神經(jīng)網(wǎng)絡(luò)模型中，補全目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容，包括：將待處理圖像和第一掩碼經(jīng)過神經(jīng)網(wǎng)絡(luò)模型中的多個網(wǎng)絡(luò)層進行處理，補全目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容；其中，多個網(wǎng)絡(luò)層中的至少一個網(wǎng)絡(luò)層的處理過程包括：接收前一網(wǎng)絡(luò)層輸出的第一特征圖和第二掩碼，第一特征圖和第二掩碼是基于待處理圖像和第一掩碼得到的；根據(jù)第一特征圖和第二掩碼，得到第二特征圖和第三掩碼，其中，第二特征圖為目標對象的被遮擋物遮擋的區(qū)域的內(nèi)容增強后的特征，第二特征圖的通道數(shù)與第一特征圖的通道數(shù)相同；將第二特征圖和第三掩碼輸出至后一網(wǎng)絡(luò)層。

在一種可能的設(shè)計中，根據(jù)第一特征圖和第二掩碼，得到第二特征圖和第三掩碼，包括：利用第一特征圖和第二掩碼，通過注意力機制處理更新第一特征圖；對第二掩碼和更新后的第一特征圖進行部分卷積處理，得到第二特征圖和第三掩碼。