[發明專利]人物圖像處理方法、裝置、相應終端及存儲介質

有效

• 申請號: 202010432534.7
• 申請日: 2020-05-20
• 公開（公告）號: CN111614925B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 謝新林;鄒超洋;張書瑞;何卓鵬
• 申請（專利權）人: 廣州視源電子科技股份有限公司
• 主分類號: H04N7/14
• 分類號: H04N7/14;H04N7/15;G06K9/62
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種人物圖像處理方法，其特征在于，應用于主講終端，包括：

從攝像頭捕獲的當前實景圖像幀中截取主講人的當前人物圖像幀；

根據所述當前人物圖像幀結合預確定的基準人物圖像及基準卡通圖像，用三角剖分法確定用于卡通化顯示所述主講人的當前狀態形變信息；所述當前狀態形變信息包括主講人當前的表情相對于主講人在基準人物圖像內表情的變化以及當前的動作相對于主講人在基準人物圖像內的動作變化；

將所述當前狀態形變信息反饋給聽講終端，以使所述聽講終端根據所述當前狀態形變信息確定所述主講人對應的當前卡通圖像幀并顯示，其中，所述聽講終端與所述主講終端保持云視頻通信。

2.根據權利要求1所述的方法，其特征在于，所述根據所述當前人物圖像幀結合預確定的基準人物圖像及基準卡通圖像，確定用于卡通化顯示所述主講人的當前狀態形變信息，包括：

檢測所述當前人物圖像幀中的關鍵點，形成相應的當前關鍵點序列；

根據所述當前關鍵點序列，結合預確定的所述基準人物圖像的人物圖像處理信息以及基準卡通圖像的卡通圖像處理信息，確定用于卡通化顯示所述主講人的當前狀態形變信息。

3.根據權利要求2所述的方法，其特征在于，所述檢測所述當前人物圖像幀中的關鍵點，形成相應的當前關鍵點序列，包括：

對所述當前人物圖像幀進行關鍵點檢測，形成包含第一設定個數人臉關鍵點以及第二設定個數標識關鍵點的第一采集關鍵點序列；

對所述第一采集關鍵點序列進行關鍵點平滑處理，獲得所述當前人物圖像幀的第一當前關鍵點序列。

4.根據權利要求3所述的方法，其特征在于，所述人物圖像處理信息包括對所述基準人物圖像基于第三設定個數關鍵點三角剖分形成的第一人物剖分數組，所述卡通圖像處理信息包括對所述基準卡通圖像基于第三設定個數關鍵點三角剖分形成的第一卡通剖分數組，所述第三設定個數為所述第一設定個數與第二設定個數之和；

相應的，所述根據所述當前關鍵點序列，結合預確定的所述基準人物圖像的人物圖像處理信息以及基準卡通圖像的卡通圖像處理信息，確定用于卡通化顯示所述主講人的當前狀態形變信息，包括：

采用設定的三角剖分規則對所述第一當前關鍵點序列進行三角剖分，獲得所述當前人物圖像幀的第一當前剖分數組；

根據所述第一當前剖分數組，結合所述第一人物剖分數組以及第一卡通剖分數組，通過仿射變換確定卡通顯示所述主講人所需的第一目標剖分數組并作為所述主講人的當前狀態形變信息。

5.根據權利要求2所述的方法，其特征在于，所述檢測所述當前人物圖像幀中的關鍵點，形成相應的當前關鍵點序列，包括：

對所述當前人物圖像幀進行關鍵點檢測，形成包含第一設定個數人臉關鍵點的第二采集關鍵點序列；

對所述第二采集關鍵點序列進行關鍵點平滑處理，獲得所述當前人物圖像幀的第二當前關鍵點序列。

6.根據權利要求5所述的方法，其特征在于，所述人物圖像處理信息包括對所述基準人物圖像基于第一設定個數關鍵點三角剖分形成的第二人物剖分數組，所述卡通圖像處理信息包括對所述基準卡通圖像基于第一設定個數關鍵點三角剖分形成的第二卡通剖分數組；

相應的，所述根據所述當前關鍵點序列，結合預確定的所述基準人物圖像的人物圖像處理信息以及基準卡通圖像的卡通圖像處理信息，確定用于卡通化顯示所述主講人的當前狀態形變信息，包括：

根據所述第二當前關鍵點序列，確定所述主講人的當前位姿估計信息；

采用設定的三角剖分規則對所述第二當前關鍵點序列進行三角剖分，獲得所述當前人物圖像幀的第二當前剖分數組；

根據所述第二當前剖分數組，結合所述第二人物剖分數組以及第二卡通剖分數組，通過仿射變換確定卡通顯示所述主講人所需的第二目標剖分數組；

將所述當前位姿估計信息以及所述第二目標剖分數組作為所述主講人的當前狀態形變信息。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述基準人物圖像為預先通過所述攝像頭為所述主講人采集的正臉圖像；或者，所述基準人物圖像為相對所述當前人物圖像幀的前一人物圖像幀。