[發明專利]基于增強現實的顯示方法、設備及存儲介質

在審

• 申請號: 202010937923.5
• 申請日: 2020-09-09
• 公開（公告）號: CN112053370A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 張文豪;陳志立;劉昂;胡博遠;于維汕
• 申請（專利權）人: 臉萌有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/40;G06T13/20;G06T19/00
• 代理公司: 上海光柵知識產權代理有限公司 31340
• 代理人: 喬慧;馬雯雯

1.一種基于增強現實的顯示方法，其特征在于，包括：

對圖像采集單元采集的實時場景圖像中的目標物體進行物體分割，獲取目標物體圖像；

根據所述目標物體圖像生成所述目標物體對應的虛擬形象；

基于增強現實顯示技術，將所述虛擬形象顯示于所述實時場景圖像中。

2.根據權利要求1所述的方法，其特征在于，所述根據所述目標物體圖像生成所述目標物體對應的虛擬形象，包括：

將所述目標物體圖像與動畫素材進行合成，以生成所述目標物體對應的虛擬形象，

其中，所述預設動畫素材包括虛擬形象的肢體動畫素材和/或表情動畫素材。

3.根據權利要求2所述的方法，其特征在于，所述將所述目標物體圖像與動畫素材進行合成，包括：

獲取所述肢體動畫素材和/或所述表情動畫素材；

根據所述目標物體圖像，在所述目標物體圖像上確定多個連接點；

通過所述多個連接點將所述肢體動畫素材和/或所述表情動畫素材與所述目標物體圖像進行合成，生成所述目標物體對應的虛擬形象。

4.根據權利要求3所述的方法，其特征在于，所述對圖像采集單元采集的實時場景圖像中的目標物體進行物體分割，獲取目標物體圖像，包括：

運行物體分割算法對所述實時場景圖像中的所述目標物體進行物體分割，得到所述目標物體圖像的掩膜和邊界框，并獲取所述掩膜內部區域的紋理。

5.根據權利要求4所述的方法，其特征在于，所述通過所述多個連接點將所述肢體動畫素材和/或所述表情動畫素材與所述目標物體圖像進行合成，生成所述目標物體對應的虛擬形象，包括：

通過所述多個連接點將所述肢體動畫素材和/或所述表情動畫素材與所述掩膜內部區域的紋理進行合成，以生成所述目標物體對應的虛擬形象。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

根據所述邊界框的尺寸，調整所述動畫素材的尺寸；以及

根據所述邊界框的對稱軸和長寬比，調整所述目標物體圖像上的多個連接點位置。

7.根據權利要求2至6中任一權利要求所述的方法，其特征在于，所述方法還包括：

播放所述動畫素材，以對所述虛擬形象進行動作和/或表情控制。

8.根據權利要求7所述的方法，其特征在于，所述播放所述動畫素材，以對所述虛擬形象進行動作和/或表情控制，包括：

根據所述動畫素材的預設動畫幀播放所述動畫素材，以對所述虛擬形象進行動作和/或表情控制；和/或

根據所述用戶的肢體動作和/或表情生成并播放所述動畫素材的動畫幀，以對所述虛擬形象進行動作和/或表情控制。

9.根據權利要求1所述的方法，其特征在于，所述基于所述增強現實顯示技術，將所述虛擬形象顯示于所述實時場景圖像中，包括：

在所述實時場景圖像中創建虛擬平面；

在所述虛擬平面處生成3D空間；

基于所述增強現實顯示技術，在所生成的3D空間中顯示所述目標物體的虛擬形象。

10.根據權利要求9所述的方法，其特征在于，所述基于所述實時場景圖像中的目標平面區域創建虛擬平面，包括：

若檢測到所述實時場景圖像中存在目標平面區域，則基于所述目標平面區域創建所述虛擬平面，其中目標平面區域為與所述圖像采集單元距離處于第一預設距離范圍內和/或處于所述實時場景圖像的中心區域內的平面區域；或者

在所述實時場景圖像中的特定位置處創建所述虛擬平面。

11.根據權利要求9或10所述的方法，其特征在于，所述基于所述增強現實顯示技術，在所生成的3D空間中顯示所述目標物體的虛擬形象，包括：

在所述3D空間中確定目標位置；

基于所述增強現實顯示技術，在所述3D空間的目標位置處顯示所述目標物體的虛擬形象。