[發明專利]一種圖像處理方法、裝置和用于圖像處理的裝置

在審

• 申請號: 201910090781.0
• 申請日: 2019-01-29
• 公開（公告）號: CN111488774A
• 公開（公告）日: 2020-08-04
• 發明（設計）人: 谷楓;李斌;徐禎
• 申請（專利權）人: 北京搜狗科技發展有限公司;搜狗（杭州）智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 莎日娜

1.一種圖像處理方法，其特征在于，所述方法包括：

根據檢測得到的模板圖像中的人臉區域，在所述模板圖像中確定變臉區域；其中，所述人臉區域為根據人臉檢測模型檢測得到，所述人臉檢測模型為根據包含人臉的樣本圖像、以及所述樣本圖像對應的人臉標注結果訓練得到的神經網絡模型；

確定目標圖像中的目標人臉關鍵點；

根據所述目標人臉關鍵點，對所述變臉區域進行變換，以得到變換后的模板圖像；其中，所述變換后的模板圖像中包含所述目標人臉關鍵點的特征。

2.根據權利要求1所述的方法，其特征在于，所述確定目標圖像中的目標人臉關鍵點，包括：

根據關鍵點檢測模型，確定目標圖像中的目標人臉關鍵點；其中，所述關鍵點檢測模型為根據包含人臉的樣本圖像、以及所述樣本圖像對應的關鍵點標注結果訓練得到的神經網絡模型。

3.根據權利要求2所述的方法，其特征在于，在根據包含人臉的樣本圖像、以及所述樣本圖像對應的關鍵點標注結果訓練得到關鍵點檢測模型之后，所述方法還包括：

根據未包含關鍵點標注結果的樣本圖像，對已訓練的關鍵點檢測模型進行優化，以得到優化后的關鍵點檢測模型。

4.根據權利要求3所述的方法，其特征在于，所述未包含關鍵點標注結果的樣本圖像，包括：人臉視頻中的連續幀圖像；所述根據未包含關鍵點標注結果的樣本圖像，對已訓練的關鍵點檢測模型進行優化，以得到優化后的關鍵點檢測模型，包括：

將人臉視頻中的連續幀圖像依次輸入已訓練的關鍵點檢測模型，以輸出所述連續幀圖像中的每一幀圖像對應的關鍵點檢測結果；

根據前一幀圖像的關鍵點檢測結果，確定所述前一幀圖像的關鍵點檢測結果在當前幀中的跟蹤結果；

根據所述當前幀圖像的關鍵點檢測結果與所述跟蹤結果之間的差異，優化所述關鍵點檢測模型的參數，以得到優化后的關鍵點檢測模型。

5.根據權利要求1所述的方法，其特征在于，所述根據所述目標人臉關鍵點，對所述變臉區域進行變換，以得到變換后的模板圖像，包括：

確定所述模板圖像中的模板人臉關鍵點；

根據所述目標人臉關鍵點的位置與所述模板圖像中模板人臉關鍵點的位置之間的對應關系，將所述目標人臉關鍵點對齊至所述變臉區域，以得到對齊圖像；

確定所述對齊圖像中的對齊人臉關鍵點；

根據所述對齊圖像中的對齊人臉關鍵點、以及所述模板人臉關鍵點，對所述對齊圖像和所述模板圖像進行融合，以得到融合圖像；

將所述融合圖像中的人臉圖像覆蓋在所述模板圖像中的變臉區域位置，以得到變換后的模板圖像。

6.根據權利要求5所述的方法，其特征在于，所述根據所述目標人臉關鍵點的位置與所述模板人臉關鍵點的位置之間的對應關系，將所述目標人臉關鍵點對齊至所述變臉區域，以得到對齊圖像，包括：

根據所述目標人臉關鍵點的位置，確定所述目標人臉關鍵點構成的第一形狀；

根據所述模板人臉關鍵點的位置，確定所述模板人臉關鍵點構成的第二形狀；

根據所述第一形狀對應所述第二形狀的仿射變換，將所述目標人臉關鍵點對齊至所述所述變臉區域，以得到對齊圖像。

7.根據權利要求1至6中任一所述的方法，其特征在于，所述人臉檢測模型包括多層卷積神經網絡，所述多層卷積神經網絡中的高層網絡用于檢測圖像中的宏觀信息，所述宏觀信息至少包括如下任意一項：語義信息、運動信息，所述多層卷積神經網絡的低層網絡用于檢測圖像中的細節相關信息，所述細節相關信息至少包括如下任意一項：邊緣信息、顏色信息。