[發明專利]一種手抓取釋放虛擬物體方法

有效

• 申請號: 202011167802.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112346564B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 王映輝;張樂
• 申請（專利權）人: 江南大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 彭素琴

本發明公開了一種手抓取釋放虛擬物體方法，屬于計算機圖形學和虛擬現實相結合的交叉學科技術領域。本發明通過研究虛實融合過程中動態遮擋問題，利用連續幀中遮擋區域的變化情況，實現了自然交互中手對虛擬物體的移動，通過記錄連續幀中遮擋重合區域中心點像素的移動及深度變化情況以及該區域的遮擋變化情況，對虛擬對象與前景對象進行碰撞估計，進一步分析出虛擬對象重合區域出的受力情況，從而得出虛擬對象的運動狀態，完成了手對虛擬物體的抓取，解決了動態環境下的虛實遮擋問題。

技術領域

本發明涉及一種手抓取釋放虛擬物體方法，屬于計算機圖形學和虛擬現實相結合的交叉學科技術領域。

背景技術

虛實融合的遮擋檢測是增強現實中的一個核心難點問題，也是自然人機交互的關鍵問題，同時還是基于真實環境和虛擬環境下實現虛擬對象與真實場景合并技術的核心難點。現有的方法大多由于設備昂貴、實現過程繁瑣等原因無法普及，而目前基于圖像的方法僅能獲得虛實對象間的粗略位置關系，對于虛實對象間的動態遮擋問題以及互相交叉遮擋問題的研究相對貧乏，對于動態環境下的虛實遮擋問題研究的更少，這就限制了增強現實的適用性和普適性。

發明內容

為了解決上述至少一個問題，本發明針對虛實融合過程中動態遮擋的問題，利用連續幀中遮擋區域的變化情況，實現了自然交互中手對虛擬物體的移動，通過記錄連續幀中遮擋重合區域中心點像素的移動、深度變化情況以及該區域的遮擋變化情況，對虛擬對象與前景對象進行碰撞估計，進一步分析出虛擬對象重合區域處的受力情況，從而得出虛擬對象的運動狀態，完成了手對虛擬物體的抓取，解決了動態環境下的虛實遮擋問題。

本發明的第一個目的是提供了一種手抓取釋放虛擬物體方法，包括如下步驟：

步驟1：通過虛擬對象與真實場景中的真實對象對應的比例轉換關系，得到虛實對象的縮放比例，實現虛擬對象的歸一化，方便虛實融合后場景中對象的一致性；

步驟2：提取虛實融合遮擋區域的特征點，通過屏幕坐標、裁剪坐標、相機坐標轉換過程的逆變換，計算出特征點相對相機的真實距離；

步驟3：基于特征點對遮擋區域與虛擬對象之間的遮擋關系做出判斷；

步驟4：依據步驟1至步驟3給出的遮擋關系判斷的方法，對視頻幀中每一幀圖像進行虛實對象的遮擋關系的獲取，依據獲取的連續視頻幀圖像的遮擋關系判斷真實場景中的真實對象與虛擬對象之間的交互情況；

步驟5：依據步驟4中視頻幀虛實對象的遮擋關系確定虛擬對象的待運動狀態，根據連續幀圖像中遮擋重合區域的變化情況來模擬出的虛擬對象的受力情況。

在本發明的一種實施方式中，步驟1具體為：

將在虛擬對象繪制時的最小包圍盒的底部四邊形進行長、寬的歸一化，使得長寬的比例與真實對象的長寬比例相同，通過分別計算虛擬對象的長、寬與歸一化后的長、寬比值，進而得到虛實對象的縮放比例p

p＝(a₃b₃·b₃c₃)/(a₁b₁·b₁c₁) (1)

其中，a₃b₃、b₃c₃為虛擬對象最小包圍盒底部矩形的長、寬；a₁b₁、b₁c₁為圖形變換過程中歸一化矩形的長、寬。

在本發明的一種實施方式中，步驟2包括：