[發明專利]一種手抓取釋放虛擬物體方法

有效

• 申請號: 202011167802.3
• 申請日: 2020-10-26
• 公開（公告）號: CN112346564B
• 公開（公告）日: 2021-12-03
• 發明（設計）人: 王映輝;張樂
• 申請（專利權）人: 江南大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 彭素琴

1.一種手抓取釋放虛擬物體方法，其特征在于，包括如下步驟：

步驟1：通過虛擬對象與真實場景中的真實對象對應的比例轉換關系，得到虛實對象的縮放比例，實現虛擬對象的歸一化，方便虛實融合后場景中對象的一致性；

步驟2：提取虛實融合遮擋區域的特征點，通過屏幕坐標、裁剪坐標、相機坐標轉換過程的逆變換，計算特征點相對相機的真實距離；

具體包括：

步驟2.1：將真實場景中的前景對象圖像與虛擬對象圖像相交，獲取虛實交互過程中的遮擋區域E，采用漫水填充法將多聯通遮擋區域分離成多個單連通域E_a、E_b、E_c，并采用SIFT的改進算法SURF方法提取遮擋區域的特征點；

步驟2.2：在裁剪坐標系下對虛擬對象做AABB包圍盒，該最小包圍盒正面矩形區域abcd與虛擬對象在屏幕坐標系下渲染出的像素的最小包圍矩形一致；

步驟2.3：在屏幕坐標系中，針對步驟2.1獲得的遮擋區域的某特征點A，通過屏幕坐標系到裁剪坐標系中視口變換的逆變換S′，獲取特征點A在繪制虛擬對象的裁剪空間中還原出的線段AB；

步驟2.4：裁剪坐標系中的線段AB，通過相機坐標系到裁剪坐標系的透視投影矩陣的逆變換p′，獲取A點和B點在相機空間的坐標A(x₁,y₁,z₁)及B(x₂,y₂,z₂)；

步驟2.5：通過步驟2.4獲取的A點和B點在相機坐標系中的坐標，結合步驟1獲取的縮放比例P，計算相機視點距離虛擬對象近面和遠面的真實距離；

步驟3：基于特征點對遮擋區域與虛擬對象之間的遮擋關系做出判斷；

具體包括：

步驟3.1：針對步驟2.1獲取的分離后的遮擋區域E_a、E_b、E_c，對于遮擋區域E_a，計算遮擋區域E_a到相機的最合適距離y

其中，y_i(i∈(1,N))表示遮擋區域E_a中特征點距離相機的實際距離，當v取最小值時，y就是E_a區域到相機的最合適距離，其中v是y_i到y之間距離的平方和，i是遮擋區域E_a中特征點；

依次計算其它遮擋區域到相機的合適距離；

步驟3.2：依據遮擋區域E_a到相機的距離y與步驟2.5計算的d₁、d₂的關系來確定該E_a區域與虛擬對象的遮擋關系，得到三種遮擋關系：

(1)遮擋區域E_a所代表的真實場景中的前景對象處于虛擬對象與視點之間的區域但是未被虛擬對象遮擋；

(2)遮擋區域E_a所代表的真實場景中的前景對象處于虛擬對象的包圍盒中被虛擬對象所遮擋；

(3)遮擋區域E_a所代表的真實場景中的前景對象處于虛擬對象相對于視點方向的背部且被虛擬對象遮擋；

依次判斷其它遮擋區域與虛擬對象的遮擋關系；

步驟3.3：依據步驟3.2獲取的遮擋關系，對不同圖層之間圖像的層次關系進行調整，之后將圖層中的位于錯誤遮擋圖像上層的圖像進行依次疊加；

步驟4：依據步驟1至步驟3給出的遮擋關系判斷的方法，對視頻幀中每一幀圖像進行虛實對象的遮擋關系的獲取，依據獲取的連續視頻幀圖像的遮擋關系判斷真實場景的真實對象與虛擬對象之間的交互情況；

具體包括：

針對視頻幀中連續幀圖像，C表示真實對象遮擋虛擬對象部分時的重合區域，D表示虛擬對象遮擋真實對象時的重合區域，a幀為遮擋發生變化的記錄幀，b幀為當前幀，n為a幀到b幀之間遮擋情況為發生變化的幀數目；

(1)如果初始幀是真實對象遮擋虛擬對象，而在a點變為虛擬對象遮擋真實對象且之后的連續n幀遮擋情況未變，則可判斷該虛擬對象處于準備“推”的狀態，即虛擬對象即將有一個遠離相機移動的動作；

(2)如果初始幀是虛擬對象遮擋真實對象，而在a點變為真實對象遮擋虛擬對象且之后的連續n幀遮擋情況未變，則可判斷該虛擬對象處于準備“拉”的狀態，即虛擬對象即將有一個靠近相機移動的動作；

(3)如果虛實對象重合區域多于一處時，倘若有兩處區域的遮擋狀態均在相鄰幾幀發生變化且之后連續n幀內的遮擋情況未變則該虛擬對象處于“抓取”狀態；

步驟5：依據步驟4中視頻幀虛實對象的遮擋關系確定虛擬對象的待運動狀態，根據連續幀圖像中遮擋重合區域的變化情況來模擬出虛擬對象的受力情況。