[發明專利]圖像處理方法、裝置、設備和存儲介質

在審

• 申請號: 202110487813.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113034648A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 杜緒晗;張啟軍;劉鑫;焦少慧;程京;吳澤寰
• 申請（專利權）人: 北京字節跳動網絡技術有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06T7/194;G06N3/04
• 代理公司: 北京遠智匯知識產權代理有限公司 11659
• 代理人: 范坤坤

本發明公開了一種圖像處理方法、裝置、設備和存儲介質。其中，圖像處理方法包括：獲取當前視頻流，當前視頻流包括至少一幀包含目標對象圖像的待處理視頻幀；將待處理視頻幀輸入至蒙版處理模型中以得到前景蒙版，前景蒙版對應目標對象圖像，蒙版處理模型用于通過背景解碼子單元和前景解碼子單元分別輸出待處理視頻幀的前景特征圖和背景特征圖，根據前景特征圖和背景特征圖確定前景蒙版；根據前景蒙版對待處理視頻幀進行背景替換以更新當前視頻流中的待處理視頻幀；將更新后的當前視頻流發送至服務端，以由服務端下發至目標用戶端。本公開實施例提供的圖像處理方法解決了現有技術的前景人像確定方法所確定的前景人像質量較低的問題。

技術領域

本公開實施例涉及計算機數據處理技術，尤其涉及一種圖像處理方法、裝置、設備和存儲介質。

背景技術

隨著直播的流行，人像背景替換的需求越來越大。人像背景替換是指從含有人像的自然圖像或視頻中精確地確定出前景人像，并將其與預設的背景圖像融合起來。以生鮮貨品的直播帶貨為例，可以通過人像背景替換，將主播與展示生鮮貨品生產環境的視頻融合在一起，這樣既能增加直播的多樣性和真實性，又能使觀眾看到主播的人像，從而提升觀眾購買相關貨品的欲望。因此，要進行人像背景替換就要先從含有人像的自然圖像或視頻中精確地確定出前景人像。

現有前景人像確定方法主要包括語義分割和人像摳圖，前者的缺點是邊緣缺失嚴重，粒度較粗；后者雖然人像邊緣細節保留的較好，但整體性較差。由此可見，現有技術的前景人像確定方法所確定的前景人像的質量較低，通常無法滿足人們的審美要求。

發明內容

本公開實施例提供一種圖像處理方法、裝置、設備和存儲介質，以解決現有技術的前景人像確定方法所確定的前景人像質量較低的問題。

第一方面，本公開實施例提供了一種圖像處理方法，包括：

獲取當前視頻流，所述當前視頻流包括至少一幀包含目標對象圖像的待處理視頻幀；

將所述待處理視頻幀輸入至蒙版處理模型中以得到前景蒙版，所述前景蒙版對應所述目標對象圖像，所述蒙版處理模型用于通過背景解碼子單元和前景解碼子單元分別輸出所述待處理視頻幀的前景特征圖和背景特征圖，以及根據所述前景特征圖和背景特征圖確定所述前景蒙版；

根據所述前景蒙版對所述待處理視頻幀進行背景替換以更新所述當前視頻流中的待處理視頻幀；

將更新后的當前視頻流發送至服務端，以由服務端下發至目標用戶端。

第二方面，本公開實施例還提供了一種圖像處理裝置，包括：

視頻獲取模塊，用于獲取當前視頻流，所述當前視頻流包括至少一幀包含目標對象圖像的待處理視頻幀；

蒙版模塊，用于將所述待處理視頻幀輸入至蒙版處理模型中以得到前景蒙版，所述前景蒙版對應所述目標對象圖像，所述蒙版處理模型用于通過背景解碼子單元和前景解碼子單元分別輸出所述待處理視頻幀的前景特征圖和背景特征圖，以及根據所述前景特征圖和背景特征圖確定所述前景蒙版；

背景替換模塊，用于根據所述前景蒙版對所述待處理視頻幀進行背景替換以更新所述當前視頻流中的待處理視頻幀；

輸出模塊，用于將更新后的當前視頻流發送至服務端，以由服務端下發至目標用戶端。

第三方面，本公開實施例還提供了一種電子設備，所述電子設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如任一本公開實施例所述的圖像處理方法。