[發明專利]三維模型驅動方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010300284.1
• 申請日: 2020-04-16
• 公開（公告）號: CN111540055A
• 公開（公告）日: 2020-08-14
• 發明（設計）人: 曾梓華;周詳;彭勇華
• 申請（專利權）人: 廣州虎牙科技有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T13/20;G06T5/00;G06K9/00
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本公開公開了一種三維模型驅動方法、裝置、電子設備及存儲介質，該方法包括：獲取用戶視頻流；根據視頻幀中的用戶圖像估算二維姿態信息；根據二維關節點的置信度對多個二維關節點序列進行平滑處理；將平滑處理后的二維關節點序列輸入至三維姿態模型，得到三維關節點序列；將三維關節點序列發送至終端，以便終端根據所述三維關節點序列驅動三維模型，使三維模型隨用戶做匹配的運動。本公開實施例提供的三維模型驅動方法，能夠基于置信度對二維關節點序列進行平滑處理，提高三維模型動作流暢度，實現將主播動作形成三維模型，并將主播的動作流暢的遷移到三維模型的方案，優化增強現實效果，提高三維模型驅動效率。

技術領域

本公開實施例涉及虛擬現實技術，尤其涉及一種三維模型驅動方法、裝置、電子設備及存儲介質。

背景技術

隨著增強現實(Augmented Reality，AR)技術的發展，虛擬影像與真實影像的結合得到廣泛應用。在直播應用場景中，存在主播圖像與增強現實道具結合的應用。例如在主播任務圖像上附著增強現實眼鏡等。目前缺少一種能夠將主播動作形成三維模型，并將主播的動作流暢的遷移到三維模型的方案，增強現實效果較差，三維模型驅動效率低。

發明內容

本公開提供一種三維模型驅動方法、裝置、電子設備及存儲介質，以實現提高三維模型驅動效率。

第一方面，本公開實施例提供了一種三維模型驅動方法，包括：

獲取用戶視頻流，用戶視頻流包括多個視頻幀，用戶視頻流包含有用戶的運動畫面；

根據視頻幀中的用戶圖像估算二維姿態信息，二維姿態信息包括由多個二維關節點組成的二維關節點序列；

根據二維關節點的置信度對多個二維關節點序列進行平滑處理；

將平滑處理后的二維關節點序列輸入至三維姿態模型，得到三維關節點序列；

將三維關節點序列發送至終端，以便終端根據三維關節點序列驅動三維模型，使三維模型隨用戶做匹配的運動。

第二方面，本公開實施例還提供了一種三維模型驅動方法，應用于終端，包括：

響應于觀眾用戶選擇的增強現實AR模型添加指令，通過終端的攝像頭獲取圖像幀；

在圖像幀中加載三維模型；

根據服務器發送的三維關節點序列驅動三維模型。

第三方面，本公開實施例還提供了一種三維模型驅動裝置，包括：

視頻流獲取模塊，用于獲取用戶視頻流，用戶視頻流包括多個視頻幀，用戶視頻流包含有用戶的運動畫面；

二維姿態估算模塊，用于根據視頻幀中的用戶圖像估算二維姿態信息，二維姿態信息包括由多個二維關節點組成的二維關節點序列；

平滑處理模塊，用于根據二維關節點的置信度對多個二維關節點序列進行平滑處理；

三維姿態估算模塊，用于將平滑處理后的二維關節點序列輸入至三維姿態模型，得到三維關節點序列；

模型驅動模塊，用于將三維關節點序列發送至終端，以便終端根據三維關節點序列驅動三維模型，使三維模型隨用戶做匹配的運動。

第四方面，本公開實施例還提供了一種三維模型驅動裝置，應用于終端，包括：

圖像幀獲取模塊，用于響應于觀眾用戶選擇的增強現實AR模型添加指令，通過終端的攝像頭獲取圖像幀；

三維模型加載模塊，用于在圖像幀中加載三維模型；

三維模型驅動模塊，用于根據服務器發送的三維關節點序列驅動三維模型。