[發明專利]圖像處理方法、裝置、電子設備及可讀存儲介質

在審

• 申請號: 202011262191.0
• 申請日: 2020-11-12
• 公開（公告）號: CN114494927A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 黃明楊;馬菲瑩
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06V10/44;G06V10/82;G06N3/04
• 代理公司: 北京智信四方知識產權代理有限公司 11519
• 代理人: 呂雁葭;宋海龍

本公開實施例公開了一種圖像處理方法、裝置、電子設備及可讀存儲介質，所述圖像處理方法包括：獲取與視頻流中的圖像幀相對應的掩模；根據所述圖像幀，生成與所述圖像幀相對應的光流圖矩陣；根據所述掩摸和所述光流圖矩陣，生成用于從所述視頻流中分割出目標對象的目標掩摸。

技術領域

本公開涉及圖像處理技術領域，具體涉及一種圖像處理方法、裝置、電子設備及可讀存儲介質。

背景技術

視頻分割技術用于在視頻圖像中分割出目標對象，在視頻會議系統、直播、影視劇制作領域具有廣泛應用。

目前的視頻分割方法通常都是用單張視頻圖像對卷積神經網絡模型進行訓練，這樣訓練好的模型在做推理時，由于缺少幀間信息，生成的視頻的分割結果圖在時序上往往是不連續的，視覺抖動較明顯，尤其是目標對象邊緣部分，當進行前后背景替換的時候，特別影響觀感。如果采用視頻序列進行模型訓練，由于需要標注大量的視頻序列，訓練數據冗余量高，費時費資金，并且訓練得到的模型生成的結果拖尾效應很嚴重，尤其在物體劇烈運動的時候拖尾效應更加明顯。另外，很多時候訓練的模型防抖性能不夠好，在主觀視覺上仍然存在抖動。如果采用單張視頻圖像進行模型訓練，然后通過光流輔助的后處理方式進行幀間邊緣抖動的消除，這種方式一般需要高精度的光流模型，由于高精度光流模型生成光流的速度較慢，難以滿足實時應用類的時效性需求。

發明內容

為了解決相關技術中的問題，本公開實施例提供一種圖像處理方法、裝置、電子設備及可讀存儲介質。

第一方面，本公開實施例中提供了一種圖像處理方法，包括：

獲取與視頻流中的圖像幀相對應的掩模；

根據所述圖像幀，生成與所述圖像幀相對應的光流圖矩陣；

根據所述掩摸和所述光流圖矩陣，生成用于從所述視頻流中分割出目標對象的目標掩摸。

結合第一方面，本公開在第一方面的第一種實現方式中，所述獲取與視頻流中的圖像幀相對應的掩模，包括：獲取與視頻流中的第一幀圖像相對應的第一掩模和與所述第一幀圖像之后的第二幀圖像相對應的第二掩模，所述第一掩模用于從所述第一幀圖像中分割出目標對象，所述第二掩模用于從所述第二幀圖像中分割出目標對象。

結合第一方面的第一種實現方式，本公開在第一方面的第二種實現方式中，所述獲取與視頻流中的第一幀圖像相對應的第一掩模和與所述第一幀圖像之后的第二幀圖像相對應的第二掩模，包括：

當所述第一幀圖像是視頻流中的首幀圖像時，通過將所述第一幀圖像輸入訓練好的掩模生成模型得到所述第一掩模，當所述第一幀圖像不是所述視頻流中的首幀圖像時，將根據所述第一幀圖像和所述第一幀圖像的前一幀圖像獲得的所述第一幀圖像的目標掩模作為所述第一掩模；

通過將所述第二幀圖像輸入訓練好的掩模生成模型得到所述第二掩模。

結合第一方面，本公開在第一方面的第三種實現方式中，所述根據所述圖像幀，生成與所述圖像幀相對應的光流圖矩陣，包括：根據所述第一幀圖像和所述第二幀圖像生成光流圖矩陣，所述光流圖矩陣中的每個元素是所述第一幀圖像中的相應單位顯示塊的光流矢量，所述單位顯示塊包括一個或多個像素。

結合第一方面，本公開在第一方面的第四種實現方式中，所述根據所述掩摸和所述光流圖矩陣，生成用于從所述視頻流中分割出目標對象的目標掩摸，包括：根據所述第一掩模、所述第二掩模和所述光流圖矩陣生成與所述第二幀圖像相對應的目標掩模，所述目標掩模用于從所述第二幀圖像中分割出目標對象。

結合第一方面的第四種實現方式，本公開在第一方面的第五種實現方式中，所述根據所述第一掩模、所述第二掩模和所述光流圖矩陣生成與所述第二幀圖像相對應的目標掩模，包括：

根據所述第一掩模和所述光流圖矩陣生成第三掩模；