[發明專利]圖像特效的處理方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011199693.3
• 申請日: 2020-10-29
• 公開（公告）號: CN112669198A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 申婷婷;趙松濤;郭益林;宋叢禮
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T5/00;G06T7/11;G06T7/73
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 李娜

1.一種圖像特效的處理方法，其特征在于，包括：

獲取包含目標對象的待處理圖像；

從所述待處理圖像中提取得到所述目標對象的二維關鍵點信息；

根據所述二維關鍵點信息，以及所述二維關鍵點信息在所述目標對象的三維模型中對應的三維關鍵點信息，將所述三維模型投影到所述目標對象在所述待處理圖像的目標區域圖像上；

對所述目標區域圖像進行特效處理得到目標特效圖像。

2.根據權利要求1所述的方法，其特征在于，所述根據所述二維關鍵點信息，以及所述二維關鍵點信息在所述目標對象的三維模型中對應的三維關鍵點信息，將所述三維模型投影到所述目標對象在所述待處理圖像的目標區域圖像上，包括：

根據所述二維關鍵點信息和所述三維關鍵點信息計算所述待處理圖像的相機外參矩陣；

根據所述相機外參矩陣和相機內參矩陣將所述三維模型投影到所述目標對象在所述待處理圖像的目標區域圖像上。

3.根據權利要求1所述的方法，其特征在于，所述從所述待處理圖像中提取得到所述目標對象的二維關鍵點信息，包括：

將所述待處理圖像輸入區域分割模型，得到所述目標區域圖像，所述目標區域圖像包含所述目標對象的最小外包矩形；

將所述目標區域圖像輸入關鍵點回歸模型，得到所述二維關鍵點信息。

4.根據權利要求3所述的方法，其特征在于，所述將所述待處理圖像輸入區域分割模型，得到所述目標區域圖像，包括：

將所述待處理圖像輸入第一區域分割模型，得到第一目標區域圖像；

將所述第一目標區域圖像輸入第二區域分割模型，得到所述目標區域圖像；

其中，所述第一目標區域圖像包含所述目標區域圖像，所述第一目標區域圖像包含第一對象的最小外包矩形，所述目標對象位于所述第一對象中。

5.根據權利要求3所述的方法，其特征在于，所述將所述待處理圖像輸入區域分割模型，得到所述目標區域圖像，包括：

將所述待處理圖像輸入所述區域分割模型，得到包含所述最小外包矩形的目標區域初始圖像，對所述目標區域初始圖像進行時序平滑處理得到所述目標區域圖像。

6.根據權利要求3所述的方法，其特征在于，所述將所述目標區域圖像輸入關鍵點回歸模型，得到所述二維關鍵點信息，包括：

將所述目標區域圖像輸入所述關鍵點回歸模型，得到所述目標對象的二維初始關鍵點信息，對所述二維初始關鍵點信息進行光流穩定處理得到所述二維關鍵點信息。

7.根據權利要求1所述的方法，其特征在于，在所述對所述目標區域圖像進行特效處理得到目標特效圖像之后，所述方法還包括：

將所述待處理圖像的所述目標對象替換為所述目標特效圖像，得到最終效果圖像。

8.一種圖像特效的處理裝置，其特征在于，包括：

獲取模塊，被配置為獲取包含目標對象的待處理圖像；

提取模塊，被配置為從所述待處理圖像中提取得到所述目標對象的二維關鍵點信息；

投影模塊，被配置為根據所述二維關鍵點信息，以及所述二維關鍵點信息在所述目標對象的三維模型中對應的三維關鍵點信息，將所述三維模型投影到所述目標對象在所述待處理圖像的目標區域圖像上；

特效模塊，被配置為對所述目標區域圖像進行特效處理得到目標特效圖像。

9.一種電子設備，其特征在于，包括：

處理器；

用于存儲所述處理器可執行指令的存儲器；

其中，所述處理器被配置為執行所述指令，以實現如權利要求1至7中任一項所述的圖像特效的處理方法。

10.一種存儲介質，其特征在于，當所述存儲介質中的指令由電子設備的處理器執行時，使得所述電子設備能夠執行如權利要求1至7中任一項所述的圖像特效的處理方法。