[發明專利]圖像處理、模型訓練、直播間背景切換方法

在審

• 申請號: 202210167545.6
• 申請日: 2022-02-23
• 公開（公告）號: CN114581460A
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 于凱
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/194;G06T9/00;G06T5/20;G06T5/50
• 代理公司: 北京太合九思知識產權代理有限公司 11610
• 代理人: 胡冰群

1.一種圖像處理方法，其特征在于，包括：

獲取待摳圖的目標圖像以及所述目標圖像的背景圖像；

利用摳圖模型中的特征提取網絡，對所述目標圖像以及所述背景圖像進行特征提取，得到特征圖；

利用所述摳圖模型中的解碼器，結合所述背景圖像和/或所述目標圖像，對所述特征圖進行特征解碼，得到第一解碼結果圖；

利用所述摳圖模型中的深度引導濾波網絡，在所述目標圖像的引導下，對所述第一解碼結果圖進行深度引導濾波，得到目標摳圖蒙版。

2.根據權利要求1所述的方法，其特征在于，所述特征提取網絡包括編碼器以及特征計算網絡；利用摳圖模型中的特征提取網絡，對所述目標圖像以及所述背景圖像進行特征提取，得到特征圖，包括：

采用所述編碼器，對所述目標圖像以及所述背景圖像進行下采樣編碼，得到編碼特征圖；

采用所述特征計算網絡，利用空洞卷積核對所述編碼特征圖執行深度分離卷積計算，得到多通道的語義特征；并采用逐點卷積，對所述多通道的語義特征進行通道整合，得到所述特征圖。

3.根據權利要求2所述的方法，其特征在于，所述編碼器，包括：不同分辨率的多個編碼層；采用所述編碼器，對所述目標圖像以及所述背景圖像進行下采樣編碼，得到編碼特征，包括：

針對所述多個編碼層中的任一編碼層，根據所述編碼層的預設的卷積核以及下采樣率，對所述編碼層的輸入數據進行下采樣編碼，得到具有設定分辨率的編碼特征圖；所述多個編碼層的分辨率依次遞減；

其中，所述多個編碼層中，首個編碼層的輸入數據為所述目標圖像以及所述背景圖像，非首個編碼層的輸入數據為前一層輸出的編碼特征圖。

4.根據權利要求3所述的方法，其特征在于，所述解碼器包括：不同分辨率的多個解碼層；利用所述摳圖模型中的解碼器，結合所述背景圖像和/或所述目標圖像，對所述特征圖進行特征解碼，得到第一解碼結果圖，包括：

針對所述多個解碼層中的任一解碼層，根據所述解碼層的預設的卷積核以及上采樣率，對所述解碼層的輸入數據進行上采樣解碼，得到具有設定分辨率的第二解碼結果圖；所述多個解碼層的分辨率依次遞增；

其中，所述多個解碼層中，首個解碼層的輸入數據包括：所述特征圖，非首個解碼層的輸入數據包括前一層輸出的解碼結果圖；所述多個解碼層中，至少一個解碼層的輸入數據包括下采樣至對應分辨率的背景圖像和/或目標圖像。

5.根據權利要求4所述的方法，其特征在于，所述多個解碼層中，任一解碼層的輸入數據還包括：分辨率相同的編碼層輸出的編碼特征圖。

6.根據權利要求4所述的方法，其特征在于，根據所述解碼層的預設的卷積核以及上采樣率，對所述解碼層的輸入數據進行上采樣解碼，得到具有設定分辨率的第二解碼結果圖，包括：

若所述解碼層對應的分辨率大于預設分辨率閾值，則根據所述解碼層預設的空洞卷積核以及上采樣率，對所述解碼層的輸入數據進行深度分離卷積，得到所述解碼層對應的具有設定分辨率的所述第二解碼結果圖。

7.根據權利要求1-6任一項所述的方法，其特征在于，利用所述摳圖模型中的深度引導濾波網絡，在所述目標圖像的引導下，對所述第一解碼結果圖進行深度引導濾波，得到目標摳圖蒙版，包括：

在所述深度引導濾波網絡中，根據所述第一解碼結果圖上的像素點的特征值以及預設的透明度算子，對所述第一解碼結果圖上的像素點的透明度進行歸一化處理，得到低分辨率的摳圖蒙版；

將所述低分辨率的摳圖蒙版與所述第一解碼結果圖進行通道合并，得到通道合并結果；

對所述通道合并結果進行上采樣，得到與所述目標圖像具有相同分辨率的目標通道合并結果；

在所述目標圖像的引導下，對所述目標通道合并結果進行聯合上采樣，得到高分辨率的摳圖蒙版，作為所述目標摳圖蒙版。

8.根據權利要求1-6任一項所述的方法，其特征在于，利用摳圖模型中的特征提取網絡，對所述目標圖像以及所述背景圖像進行特征提取之前，還包括：通過CPU加載并運行所述摳圖模型。