[發明專利]圖像處理、模型訓練、直播間背景切換方法

在審

• 申請號: 202210167545.6
• 申請日: 2022-02-23
• 公開（公告）號: CN114581460A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 于凱
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T9/00;G06T5/20;G06T5/50
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 胡冰群

本申請實施例提供一種圖像處理、模型訓練、直播間背景切換方法。圖像處理方法中，摳圖模型在特征提取階段的輸入數據為目標圖像及其背景圖像，可對目標圖像以及背景圖像上的特征進行挖掘。在解碼階段，摳圖模型可在背景圖像和/或目標圖像的輔助下，對特征提取階段輸出的特征圖進行解碼，可使得解碼過程進一步聚焦在目標圖像與背景圖像的差異上。在輸出階段，摳圖模型使用深度引導濾波網絡對解碼結果圖進行深度引導濾波，可對解碼結果進行修正以使得摳圖結果更加準確。基于這種根據已知的背景信息對前景與背景分離進行指導的實施方式，可在無需進行大量計算的情況下在目標圖像和/或背景圖像的輔助下得到較為準確的摳圖結果，極大提升了摳圖效率。

技術領域

本申請涉及計算機視覺技術領域，尤其涉及一種圖像處理、模型訓練、直播間背景切換方法。

背景技術

在許多場景中，需要對圖像進行摳圖(image matting)處理，以將圖像中的前景與背景分割出來。在一些場景下，需要對圖像進行實時摳圖處理，以滿足背景或場景替換要求。例如，在直播場景中，需要從直播視頻的實時畫面中分割出人、物品等前景對象，并實時替換直播環境。

然而，現有的摳圖算法計算量較大，摳圖效率較低，無法滿足實時性較高的摳圖需求。因此，有待提出一種新的解決方案。

發明內容

本申請的多個方面提供一種圖像處理、模型訓練、直播間背景切換方法，用以降低摳圖操作的計算量，提升摳圖效率。

本申請實施例提供一種圖像處理方法，包括：獲取待摳圖的目標圖像以及所述目標圖像的背景圖像；利用摳圖模型中的特征提取網絡，對所述目標圖像以及所述背景圖像進行特征提取，得到特征圖；利用所述摳圖模型中的解碼器，結合所述背景圖像和/或所述目標圖像，對所述特征圖進行特征解碼，得到第一解碼結果圖；利用所述摳圖模型中的深度引導濾波網絡，在所述目標圖像的引導下，對所述第一解碼結果圖進行深度引導濾波，得到目標摳圖蒙版。

本申請實施例還提供一種摳圖模型的訓練方法，包括：獲取待摳圖的目標圖像以及所述目標圖像的背景圖像；利用摳圖模型中的特征提取網絡，對所述目標圖像以及所述背景圖像進行特征提取，得到特征圖；利用所述摳圖模型中的解碼器，結合所述背景圖像和/或所述目標圖像，對所述特征圖進行特征解碼，得到第一解碼結果圖；利用所述摳圖模型中的深度引導濾波網絡，在所述目標圖像的引導下，對所述第一解碼結果圖進行深度引導濾波，得到目標摳圖蒙版；根據所述目標摳圖蒙版以及所述目標圖像的期望摳圖蒙版之間的差異，對所述摳圖模型進行參數優化。

本申請實施例還提供一種直播間背景切換方法，包括：獲取直播間的背景圖像并獲取所述直播間實時產生的直播視頻流；針對所述直播視頻流中的任一幀直播圖像，利用摳圖模型中的特征提取網絡，對所述直播圖像以及所述背景圖像進行特征提取，得到特征圖；利用所述摳圖模型中的解碼器，結合所述背景圖像和/或所述直播圖像，對所述特征圖進行特征解碼，得到第一解碼結果圖；利用所述摳圖模型中的深度引導濾波網絡，在所述直播圖像的引導下，對所述第一解碼結果圖進行深度引導濾波，得到目標摳圖蒙版；根據所述目標摳圖蒙版，對所述直播圖像進行摳圖處理，得到前景圖像；將所述前景圖像與預設圖像進行融合，得到新的直播圖像。

本申請實施例還提供一種電子設備，包括：存儲器和處理器；所述存儲器用于存儲一條或多條計算機指令；所述處理器用于執行所述一條或多條計算機指令以用于：執行本申請實施例提供的方法中的步驟。

本申請實施例還提供一種存儲有計算機程序的計算機可讀存儲介質，計算機程序被處理器執行時能夠實現本申請實施例提供的方法中的步驟。