[發明專利]一種虛擬互動方法及計算機可讀存儲介質

在審

• 申請號: 202010621501.7
• 申請日: 2020-06-30
• 公開（公告）號: CN111752391A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 張磊;盧祿明;劉小鋒
• 申請（專利權）人: 廣州志勝游藝設備有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0484;G06F3/0487;G06T19/00;G06K9/62;G09B5/02
• 代理公司: 廣州粵弘專利代理事務所(普通合伙) 44492
• 代理人: 馬騰飛

1.一種虛擬互動方法，其特征在于：具體包含如下步驟；

步驟1，通過攝像裝置對真實環境進行視頻采集及處理，并將真實環境顯示于顯示裝置上；

步驟2，用戶可自由錄入需要識別的物體，進而對錄入需要識別的物體自由編輯內容，用戶也可將設有標識信息的實體教具移動至攝像裝置的拍攝范圍內；

步驟3，對實體教具進行自動跟蹤和識別，識別出實體教具的標識信息和空間方位信息；

步驟4，將實體教具或者用戶自由編輯內容對應的3D虛擬物品顯示在顯示裝置上；

步驟5，用戶通過交互來提供真實背景圖像中隱含的三維信息，從而使3D虛擬物體能與三維信息進行直接交互，同時激活三維模型和動畫的顯示；通過對識別物體的空間移動，旋轉進行交互，進而完成交互體驗。

2.根據權利要求1所述的一種虛擬互動方法，其特征在于：所述步驟1具體如下：

步驟1.1，對所采集的視頻數據進行背景和前景分離，標記運動物體輪廓在前景圖像中的像素區域，對前景圖像進行三維重構并對三維重構后的運動物體進行解析得到動作語義信息，得到圖像三維坐標數據和動作語義信息；

步驟1.2，將步驟1.1得到的三維坐標數據和動作語義信息進行三維渲染和三維互動，構造運動序列中各三維特征點集之間距離變化的矩陣；

步驟1.3，根據距離變化矩陣，得到運動序列中的運動物體特征點，進而通過顯示裝置將真實環境顯示出來。

3.根據權利要求1所述的一種虛擬互動方法，其特征在于：在步驟2中，自由編輯具體如下：

步驟2.1，接收用戶發送的多媒體數據編輯指令，所述多媒體數據編輯指令中包括待編輯多媒體數據和所述用戶的標識信息；

步驟2.2，根據所述標識信息從本地的級聯樣式表CSS中獲取所述用戶的偏好樣式信息，所述偏好樣式信息描述了所述用戶對所述待編輯多媒體數據中不同類型數據的樣式設置信息；

步驟2.3，根據所述偏好樣式信息對所述待編輯多媒體數據進行編輯。

4.根據權利要求2所述的一種虛擬互動方法，其特征在于：在步驟1.2中，三維渲染具體如下：獲取所述標識信息對應的所述三維模型，并將所述三維模型渲染生成對應的虛擬物體，并根據所述實體教具的所述空間方位信息，將所述虛擬物體放置于所述視頻圖像中的相應位置進行顯示；

所述三維渲染模塊以實時渲染幀率為基準，每渲染M幀時，所述攝像裝置采集一張圖像，由所述識別模塊和所述方位計算模塊對所述圖像進行處理；從第0幀到第N*M幀的第一期間，所述方位計算模塊得到N次所述實體教具的所述空間方位信息；所述三維渲染模塊在所述第一期間不激活任何所述虛擬物體；從第NM幀到2N*M幀的第二期間，所述三維渲染模塊利用視覺捕捉前N次的結果構造N次貝塞爾曲線，從而估算得到任何一幀的所述實體教具的所述空間方位信息，并作用于所述虛擬物體上。

5.根據權利要求1所述的一種虛擬互動方法，其特征在于：在步驟3中，對實體教具進行自動跟蹤和識別，識別出實體教具的標識信息和空間方位信息，具體如下：所述實體教具在實體教具空間坐標系中的二維空間方位信息；并根據所述攝像裝置的標定參數，將所述二維空間方位信息換算為攝像裝置空間坐標系的三維空間方位信息。

6.根據權利要求1所述的一種虛擬互動方法，其特征在于：在步驟1.3中，采用譜聚類的方法得到運動序列中的運動物體特征點：

步驟1.31，輸入圖片，然后劃定移動窗口，使移動窗口在水平或者垂直方向上平移，將輸入的每張圖片劃分為若干塊；

步驟1.32，對得到的分塊的HSV顏色空間進行顏色直方圖統計，提取顏色特征向量；

步驟,1.33，將獲取到的每張圖的顏色特征向量作為譜聚類的輸入，得到每張圖片的譜聚類結果，得到相應顏色向量的label值；

步驟1.34，使用BIRCH分類樹對步驟1.33中被label值標記的顏色特征向量分類；

步驟1.35，使用BIRCH分類樹結果對譜聚類的結果進行集成；

步驟1.36，將集成后的label值通過不同的顏色進行標記，得到圖片分割的結果。

7.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現根據權利要求1～6中任一項所述的虛擬互動方法的步驟。