[發明專利]圖像處理方法、裝置、設備及存儲介質

有效

• 申請號: 202010119941.2
• 申請日: 2020-02-26
• 公開（公告）號: CN111340943B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 劉吉豪;周航;劉子緯;劉宇;王曉剛
• 申請（專利權）人: 北京市商湯科技開發有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T3/00;G06T3/60;G06V40/16;G06V10/82;G06N3/08
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 董曉盈

公開了一種圖像處理方法、裝置、設備及存儲介質，所述方法包括：根據待處理人臉圖像，得到初始三維人臉模型；將所述初始三維人臉模型旋轉目標角度，得到旋轉三維人臉模型；將所述旋轉三維人臉模型投影到二維平面，得到第一投影人臉圖像，其中，所述第一投影人臉圖像包含缺失像素信息的像素點；對所述第一投影人臉圖像中的目標像素點增加預定像素信息，獲得目標人臉圖像，其中，所述目標像素點是所述缺失像素信息的像素點中的一個或多個。

技術領域

本公開涉及計算機視覺技術，尤其涉及一種圖像處理方法、裝置、設備及存儲介質。

背景技術

圖像中的人臉轉正是人臉識別中的重要問題，在很多領域有重要應用，比如對圖像中的人臉轉正后進行人臉識別、從側臉信息恢復出正臉信息從而在游戲和VR等虛擬場景中幫助人臉建模等等。

現有的人臉轉正方法需要多角度的人臉圖像作為監督來對模型進行訓練，而在實際應用中，訓練數據難以獲取，導致模型訓練不充分，轉正結果達不到實際應用的要求。

發明內容

本公開實施例提供了一種圖像處理方案。

根據本公開的一方面，提供一種圖像處理方法，所述方法包括：根據待處理人臉圖像，得到初始三維人臉模型；將所述初始三維人臉模型旋轉目標角度，得到旋轉三維人臉模型；將所述旋轉三維人臉模型投影到二維平面，得到第一投影人臉圖像，其中，所述第一投影人臉圖像包含缺失像素信息的像素點；對所述第一投影人臉圖像中的目標像素點增加預定像素信息，獲得目標人臉圖像，其中，所述目標像素點是所述缺失像素信息的像素點中的一個或多個。

結合本公開提供的任一實施方式，所述根據待處理人臉圖像，得到初始三維人臉模型，包括：根據所述待處理人臉圖像，得到三維人臉的頂點的位置信息；從所述待處理人臉圖像獲取與所述頂點對應的紋理信息；根據所述頂點的位置信息和紋理信息，得到所述初始三維人臉模型。

結合本公開提供的任一實施方式，所述將所述旋轉三維人臉模型投影到平面上，得到第一投影人臉圖像，包括：將所述旋轉三維人臉模型的各個頂點投影在二維平面上，得到多個投影點的位置信息，每個所述投影點對應一個或多個所述旋轉三維人臉模型的頂點；獲取每個投影點對應的最外層頂點的紋理信息；根據所述投影點的位置信息以及紋理信息，得到所述第一投影人臉圖像。

結合本公開提供的任一實施方式，在得到所述第一投影人臉圖像之后，根據所述旋轉三維人臉模型所有頂點的紋理平均值，確定所述第一投影人臉圖像中的邊緣投影點的紋理信息。

結合本公開提供的任一實施方式，所述對所述第一投影人臉圖像中的像素點增加預定像素信息，獲得目標人臉圖像，包括：將所述第一投影人臉圖像輸入至預先訓練的神經網絡，所述神經網絡輸出對所述第一投影人臉圖像中的目標像素點增加了像素信息的目標人臉圖像。

結合本公開提供的任一實施方式，所述方法還包括：根據樣本圖像獲取所述預先訓練的神經網絡的過程；其中，所述樣本圖像的獲取包括：根據真實人臉圖像，得到初始三維人臉模型；將所述初始三維人臉模型旋轉目標角度，得到旋轉三維人臉模型，并將所述旋轉三維人臉模型投影到二維平面上，得到第一投影人臉圖像；將所述旋轉三維人臉模型反向旋轉所述目標角度，得到回轉三維人臉模型，并將所述回轉三維人臉模型投影到二維平面上，得到第二投影人臉圖像，其中，所述第二投影人臉圖像包含缺失像素信息的像素點；根據所述真實人臉圖像的像素值，對所述第二投影人臉圖像進行標注，得到圖像樣本。

結合本公開提供的任一實施方式，所述將所述回轉三維人臉模型投影到二維平面上，得到第二投影人臉圖像，包括：將所述回轉三維人臉模型的各個頂點投影在二維平面上，得到多個投影點的位置信息，每個所述投影點對應一個或多個所述回轉三維人臉模型的頂點；獲取每個投影點對應的最外層頂點的紋理信息；根據所述投影點的位置信息以及紋理信息，得到所述第二投影人臉圖像。