[發(fā)明專利]圖像處理方法、裝置、設備和存儲介質

在審

• 申請?zhí)枺?/td>: 202110487813.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113034648A
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 杜緒晗;張啟軍;劉鑫;焦少慧;程京;吳澤寰
• 申請（專利權）人: 北京字節(jié)跳動網(wǎng)絡技術有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/194;G06N3/04
• 代理公司: 北京遠智匯知識產(chǎn)權代理有限公司 11659
• 代理人: 范坤坤

1.一種圖像處理方法，其特征在于，包括：

獲取當前視頻流，所述當前視頻流包括至少一幀包含目標對象圖像的待處理視頻幀；

將所述待處理視頻幀輸入至蒙版處理模型中以得到前景蒙版，所述前景蒙版對應所述目標對象圖像，所述蒙版處理模型用于通過背景解碼子單元和前景解碼子單元分別輸出所述待處理視頻幀的前景特征圖和背景特征圖，以及根據(jù)所述前景特征圖和背景特征圖確定所述前景蒙版；

根據(jù)所述前景蒙版對所述待處理視頻幀進行背景替換以更新所述當前視頻流中的待處理視頻幀；

將更新后的當前視頻流發(fā)送至服務端，以由服務端下發(fā)至目標用戶端。

2.根據(jù)權利要求1所述的方法，其特征在于，在根據(jù)所述前景蒙版對所述待處理視頻幀進行背景替換以更新所述當前視頻流中的待處理視頻幀之前，還包括：

接收用戶上傳的背景替換模板或者確定用戶在背景替換模板庫中選擇的背景替換模板；

根據(jù)所述背景替換模板和所述前景蒙版對所述待處理視頻幀進行背景替換以更新所述當前視頻流中的待處理視頻幀。

3.根據(jù)權利要求1所述的方法，其特征在于，所述蒙版處理模型包括編碼單元、解碼單元和輸出單元；所述編碼單元用于從所述待處理視頻幀提取編碼特征；所述解碼單元包括并行的前景解碼子單元和背景解碼子單元，所述前景解碼子單元用于根據(jù)所述編碼特征重構所述待處理視頻幀的前景特征圖，所述背景解碼子單元用于根據(jù)所述編碼特征重構所述待處理視頻幀的背景特征圖；所述輸出單元用于根據(jù)所述前景特征圖和所述背景特征圖確定所述前景蒙版。

4.根據(jù)權利要求1所述的方法，其特征在于，所述前景解碼子單元和所述背景解碼子單元分別包含順序連接的至少一個用于語義分割的第一反向特征提取層以及至少一個用于摳圖的第二反向特征提取層。

5.根據(jù)權利要求4所述的方法，其特征在于，在一個解碼子單元中，第一反向特征提取層的數(shù)量與第二反向特征提取層的數(shù)量相同。

6.根據(jù)權利要求1所述的方法，其特征在于，所述輸出單元用于對所述前景特征圖和所述背景特征圖進行拼接以得到前景權重，以及根據(jù)所述前景特征圖、所述背景特征圖以及所述前景權重確定所述前景蒙版。

7.根據(jù)權利要求6所述的方法，其特征在于，所述輸出單元具體用于按照如下公式確定所述前景蒙版：

alpha＝beta×F+(1-beta)×(1-B)

其中，alpha為前景蒙版，beta為前景權重，F(xiàn)為前景特征圖，B為背景特征圖。

8.根據(jù)權利要求6所述的方法，其特征在于，所述蒙版處理模型由待訓練的蒙版處理模型經(jīng)以下訓練方法訓練而成，該訓練方法包括：

獲取訓練樣本集合，其中，所述訓練樣本集合中的訓練樣本包括模板圖像和包含目標對象圖像的待處理視頻幀，所述模板圖像包括對應前景蒙版的前景訓練模板以及與所述前景訓練模板對應的背景訓練模板；

將所述訓練樣本集合中的訓練樣本輸入待訓練的蒙版處理模型進行訓練，并基于設定損失函數(shù)進行模型參數(shù)優(yōu)化以生成所述蒙版處理模型。

9.根據(jù)權利要求8所述的方法，其特征在于，

在所述待訓練的蒙版處理模型中，用于語義分割的第一反向特征提取層使用的設定損失函數(shù)為二分類交叉熵損失函數(shù)；用于摳圖的第二反向特征提取層使用的設定損失函數(shù)為最小絕對值偏差。

10.根據(jù)權利要求8所述的方法，其特征在于，訓練樣本集合的獲取方法包括：

獲取包含目標對象圖像的待處理視頻幀和對應前景蒙版的前景訓練模板的樣本集合；

將所述前景訓練模板進行取反處理，以生成與所述前景訓練模板對應的背景訓練模板；

將所述背景訓練模板添加至所述訓練樣本集合，以更新所述訓練樣本集合。