[發明專利]一種AR合影方法、裝置、計算機設備及存儲介質

在審

• 申請號: 202010515216.7
• 申請日: 2020-06-08
• 公開（公告）號: CN111640167A
• 公開（公告）日: 2020-09-08
• 發明（設計）人: 孫紅亮;王子彬;李炳澤;劉小兵
• 申請（專利權）人: 上海商湯智能科技有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06K9/00
• 代理公司: 北京中知法苑知識產權代理有限公司 11226
• 代理人: 李明;趙吉陽

1.一種增強現實AR合影方法，其特征在于，包括：

對第一圖像中的至少一個人體進行位姿檢測，得到所述至少一個人體中每個人體的第一位姿信息；

基于所述至少一個人體分別對應的第一位姿信息，以及合影動作模板，確定至少一個歷史人物的AR人物特效的第二位姿信息；

基于所述第二位姿信息，以及所述AR人物特效，生成所述人體和所述AR人物特效的合影。

2.根據權利要求1所述的AR合影方法，其特征在于，所述對第一圖像中的至少一個人體進行位姿檢測，包括：

利用預先訓練的位姿檢測神經網絡對所述第一圖像進行位姿檢測處理，得到所述至少一個人體中每個人體的第一位姿信息。

3.根據權利要求2所述的AR合影方法，其特征在于，所述第一位姿信息包括：所述人體在所述第一圖像中的位置信息、以及所述人體的姿態信息。

4.根據權利要求2或者3所述的AR合影方法，其特征在于，所述位姿檢測神經網絡包括：特征提取子網絡、人體檢檢測子網絡、以及姿態檢測子網絡；

所述特征提取子網絡用于對所述第一圖像進行特征提取處理，得到所述第一圖像的特征圖；

所述人體檢測子網絡，用于基于所述特征圖，從預先生成的多個候選邊界框中，確定多個目標邊界框，并基于所述目標邊界框，確定所述人體對應的目標區域；其中，所述目標區域用于表征所述人體在所述第一圖像中的位置信息；

所述姿態檢測子網絡，用于對基于所述目標區域和所述特征圖確定的特征子圖進行姿態檢測處理，得到所述人體的姿態信息。

5.根據權利要求1-4任一項所述的AR合影方法，其特征在于，采用下述方式確定所述合影動作模板：

響應用戶對多個備選合影動作模板的選擇指令，將與所述選擇指令對應的備選合影動作模板確定為所述合影動作模板；

或者，基于所述至少一個人體分別對應的第一位姿信息，確定所述合影動作模板；

或者，基于所述第一圖像中第一人體的數量，確定所述合影動作模板。

6.根據權利要求1-5中任一項所述的AR合影方法，其特征在于，所述合影動作模板包括：多個模板人體中每個模板人體分別對應的位姿指示信息；

所述基于所述至少一個人體分別對應的第一位姿信息，以及合影動作模板，確定至少一個歷史人物的AR人物特效的第二位姿信息，包括：

基于所述至少一個人體分別對應的第一位姿信息、以及多個模板人體分別對應的位姿信息，對所述第一圖像中的人體和所述模板人體進行匹配，并基于匹配結果，從多個所述模板人體中，確定未能匹配到所述人體的目標模板人體；

將所述目標模板人體的位姿信息，確定為所述AR人物特效的第二位姿信息。

7.根據權利要求6所述的AR合影方法，其特征在于，還包括：

在顯示屏幕上顯示與所述合影動作模板對應的位姿信息。

8.根據權利要求1-7任一項所述的AR合影方法，還包括：獲取所述第一圖像，并將所述第一圖像顯示在顯示屏幕中；

在所述基于所述至少一個人體分別對應的第一位姿信息，以及合影動作模板，確定至少一個歷史人物的AR人物特效的第二位姿信息后，還包括：

基于所述第二位姿信息，將所述AR人物特效顯示在所述顯示屏幕中。

9.一種增強現實AR合影裝置，其特征在于，包括：

檢測模塊，用于對第一圖像中的至少一個人體進行位姿檢測，得到所述至少一個人體中每個人體的第一位姿信息；

第一確定模塊，用于基于所述至少一個人體分別對應的第一位姿信息，以及合影動作模板，確定至少一個歷史人物的AR人物特效的第二位姿信息；

生成模塊，用于基于所述第二位姿信息，以及所述AR人物特效，生成所述人體和所述AR人物特效的合影。