[發明專利]圖像處理方法、裝置、設備及存儲介質

有效

• 申請號: 202010147639.8
• 申請日: 2020-03-05
• 公開（公告）號: CN111246113B
• 公開（公告）日: 2022-03-18
• 發明（設計）人: 羅彤;李亞乾;蔣燚
• 申請（專利權）人: 上海瑾盛通信科技有限公司;OPPO廣東移動通信有限公司
• 主分類號: H04N5/232
• 分類號: H04N5/232;G06V40/10;G06N3/04
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 陳小娜

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取非理想人物圖像，所述非理想人物圖像中的人物具有非理想人體姿勢；

獲取理想人物圖像，所述理想人物圖像中的人物具有理想人體姿勢；

分別對所述非理想人物圖像和所述理想人物圖像進行人體骨骼關鍵點識別，得到所述非理想人物圖像包括的多個人體骨骼關鍵點和所述理想人物圖像包括的多個人體骨骼關鍵點；

將所述非理想人物圖像包括的多個人體骨骼關鍵點、所述理想人物圖像包括的多個人體骨骼關鍵點以及所述非理想人物圖像輸入至空間變換網絡STN中，通過所述STN對所述非理想人物圖像中人物的人體姿勢進行校正處理；其中，校正處理后的人體姿勢與所述理想人體姿勢的差異小于預設差異閾值。

2.根據權利要求1所述的方法，其特征在于，所述分別對所述非理想人物圖像和所述理想人物圖像進行人體骨骼關鍵點識別，包括：

將目標人物圖像輸入至關鍵點識別網絡中，得到所述關鍵點識別網絡輸出的關鍵點概率圖集合和肢體方向矢量圖集合，所述目標人物圖像為所述非理想人物圖像或者所述理想人物圖像，所述關鍵點概率圖集合包括與不同種人體骨骼關鍵點一一對應的多個關鍵點概率圖，每個所述關鍵點概率圖包括的概率值用于指示對應種類的人體骨骼關鍵點位于所述概率值所在位置點處的概率，所述肢體方向矢量圖集合包括與不同種肢體一一對應的多個肢體方向矢量圖，所述肢體為相關聯的人體骨骼關鍵點之間的人體區域，每個所述肢體方向矢量圖包括的矢量值用于指示對應種類的肢體在所述矢量值所在位置點處的方向；

根據所述關鍵點概率圖集合和所述肢體方向矢量圖集合，對所述目標人物圖像進行人體骨骼關鍵點識別。

3.根據權利要求2所述的方法，其特征在于，所述關鍵點識別網絡包括第一識別子網絡以及級聯的n個第二識別子網絡，n為大于1的正整數，所述將目標人物圖像輸入至關鍵點識別網絡中，得到所述關鍵點識別網絡輸出的關鍵點概率圖集合和肢體方向矢量圖集合，包括：

將所述目標人物圖像輸入至所述第一識別子網絡中，得到所述第一識別子網絡對所述目標人物圖像進行特征提取后輸出的特征圖；

將所述特征圖輸入至所述n個第二識別子網絡中，通過第i個第二識別子網絡對第i個輸入圖進行識別計算，并輸出第i個候選關鍵點概率圖集合和第i個候選肢體方向矢量圖集合，其中，當i＝1時，所述第i個輸入圖為所述特征圖，當1＜i≤n時，所述第i個輸入圖為所述特征圖、第i-1個候選關鍵點概率圖集合和第i-1個候選肢體方向矢量圖集合；

將第n個第二識別子網絡輸出的第n個候選關鍵點概率圖集合和第n個候選肢體方向矢量圖集合，分別作為所述關鍵點識別網絡輸出的所述關鍵點概率圖集合和所述肢體方向矢量圖集合。

4.根據權利要求2所述的方法，其特征在于，所述根據所述關鍵點概率圖集合和所述肢體方向矢量圖集合，對所述目標人物圖像進行人體骨骼關鍵點識別，包括：

對于每個種類的人體骨骼關鍵點，在所述人體骨骼關鍵點對應的關鍵點概率圖中，確定與所述人體骨骼關鍵點對應的多個候選位置點；

獲取多個位置點集合，每個所述位置點集合包括m個候選位置點，且，每個所述位置點集合包括的各個候選位置點所對應的人體骨骼關鍵點的種類均不同，m為人體骨骼關鍵點種類的數量；

根據所述肢體方向矢量圖集合，從所述多個位置點集合中確定目標位置點集合，并根據所述目標位置點集合包括的各個候選位置點在所述目標人物圖像中確定人體骨骼關鍵點。

5.根據權利要求4所述的方法，其特征在于，在所述人體骨骼關鍵點對應的關鍵點概率圖中，確定與所述人體骨骼關鍵點對應的多個候選位置點，包括：

對所述關鍵點概率圖進行最大池化操作，得到池化概率圖，所述池化概率圖包括多個池化概率值，所述多個池化概率值與所述關鍵點概率圖包括的多個概率值一一對應；

從所述關鍵點概率圖中確定目標概率值，所述目標概率值與對應的池化概率值相等；

將所述目標概率值所在位置點確定為與所述人體骨骼關鍵點對應的候選位置點。