[發(fā)明專利]一種基于虛擬現(xiàn)實與手勢識別的遠(yuǎn)程呈現(xiàn)交互方法和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201611025123.6
• 申請日: 2016-11-18
• 公開（公告）號: CN107340853B
• 公開（公告）日: 2020-04-14
• 發(fā)明（設(shè)計）人: 裴明濤;李佩霖;梁瑋
• 申請（專利權(quán)）人: 北京理工大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G02B27/01
• 代理公司: 北京理工正陽知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 鮑文娟

1.一種基于虛擬現(xiàn)實技術(shù)和手勢識別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法,其特征在于：包括如下步驟：

步驟一、現(xiàn)場實時視頻圖像的獲取，具體為：通過遠(yuǎn)程呈現(xiàn)機器人在本地空間中移動來獲取本地空間的現(xiàn)場實時視頻圖像，即：機器人頭部裝備的雙目攝像頭來獲取兩路本地空間的現(xiàn)場實時視頻圖像；

其中，兩路本地空間的現(xiàn)場實時視頻圖像分別由雙目攝像頭的左方攝像頭和右方攝像頭拍攝得到；

步驟二、用戶以虛擬現(xiàn)實的方式感知本地空間，具體為：無線網(wǎng)絡(luò)將步驟一中遠(yuǎn)程呈現(xiàn)機器人獲取的兩路現(xiàn)場實時視頻圖像傳送到遠(yuǎn)程空間的智能手機上，并進(jìn)行分屏顯示，即智能手機的屏幕左方顯示遠(yuǎn)程呈現(xiàn)機器人上的雙目攝像頭中左方攝像頭拍攝的圖像，智能手機的屏幕右方顯示遠(yuǎn)程呈現(xiàn)機器人上的雙目攝像頭中右方攝像頭拍攝的圖像；遠(yuǎn)程空間中的用戶通過VR眼鏡和智能手機就能夠以虛擬現(xiàn)實的方式感知本地空間，獲得真正的身臨其境的感受；

步驟三、根據(jù)用戶需求決定通過手勢與遠(yuǎn)程呈現(xiàn)機器人還是遠(yuǎn)程可交互裝置進(jìn)行交互，具體為：

3.A、若用戶需求是與遠(yuǎn)程呈現(xiàn)機器人交互，具體為：

步驟3.A1通過交互式VR眼鏡上的雙目攝像頭獲取用戶手勢的兩路實時視頻數(shù)據(jù)；

步驟3.A2通過無線網(wǎng)絡(luò)將獲取的兩路用戶手勢的實時視頻數(shù)據(jù)發(fā)送給計算服務(wù)器；

步驟3.A3在計算服務(wù)器上利用立體視覺的方法恢復(fù)用戶手勢的三維信息，并進(jìn)行手勢識別；

步驟3.A4根據(jù)手勢識別的結(jié)果來控制遠(yuǎn)程呈現(xiàn)機器人前進(jìn)、后退、左轉(zhuǎn)以及右轉(zhuǎn)；

3.B、若用戶需求是與遠(yuǎn)程可交互裝置交互，具體為：

步驟3.B1通過交互式VR眼鏡上的雙目攝像頭獲取用戶手勢的兩路實時視頻數(shù)據(jù)；

步驟3.B2通過無線網(wǎng)絡(luò)將獲取的兩路實時視頻數(shù)據(jù)發(fā)送給計算服務(wù)器；

步驟3.B3在計算服務(wù)器上利用立體視覺的方法恢復(fù)用戶手勢的三維信息，并進(jìn)行手勢識別；同時遠(yuǎn)程呈現(xiàn)機器人獲取的兩路本地空間的視頻數(shù)據(jù)也發(fā)送到計算服務(wù)器上，同樣利用立體視覺的方法恢復(fù)本地空間的三維信息；

步驟3.B4在本地空間的三維信息中融入虛擬手的三維信息，并在對應(yīng)的本地空間的二維圖像中繪制出虛擬手；

具體為：通過恢復(fù)用戶手勢的三維信息，可以得到用戶的手相對于用戶的空間位置，根據(jù)用戶的手相對于用戶的空間位置可以得到虛擬手相對于遠(yuǎn)程呈現(xiàn)機器人的位置，從而可以在本地空間的三維信息中融入虛擬手的三維信息，并在對應(yīng)的本地空間的二維圖像中繪制出虛擬手；

步驟3.B5用戶通過移動自己的雙手來控制虛擬手的移動，根據(jù)本地空間的三維信息以及虛擬手的位置，判斷虛擬手是否碰到了本地空間的遠(yuǎn)程可交互裝置，并在虛擬手碰到本地空間的遠(yuǎn)程可交互裝置時，使用步驟3.B3手勢識別的結(jié)果來操作遠(yuǎn)程可交互裝置。

2.如權(quán)利要求1所述的一種基于虛擬現(xiàn)實技術(shù)和手勢識別技術(shù)的遠(yuǎn)程呈現(xiàn)交互方法依托的遠(yuǎn)程呈現(xiàn)交互系統(tǒng),其特征在于：包括本地空間、遠(yuǎn)程空間、連接本地空間與遠(yuǎn)程空間的無線網(wǎng)絡(luò)以及計算服務(wù)器；

其中，計算服務(wù)器可位于本地空間，也可以位于遠(yuǎn)程空間，還可以是任意聯(lián)網(wǎng)的地點；本地空間中又包含遠(yuǎn)程呈現(xiàn)機器人和遠(yuǎn)程可交互裝置；遠(yuǎn)程空間中又包含交互式VR眼鏡，交互式VR眼鏡又包括VR眼鏡、智能手機以及雙目攝像頭；用戶位于遠(yuǎn)程空間；遠(yuǎn)程可交互裝置具有三個屬性:標(biāo)識、驅(qū)動器、無線通訊網(wǎng)絡(luò)；

其中，標(biāo)識是指獨一無二的特征，可用計算機視覺的方法識別；驅(qū)動器是指電機、繼電器將電能到機械能或其它能量形式的轉(zhuǎn)化；無線通訊網(wǎng)絡(luò)包括Wifi；

其中，通過計算機視覺的方法識別遠(yuǎn)程可交互裝置通常是通過提取圖像特征進(jìn)行識別，提取的圖像特征包括顏色、紋理、表觀和形狀；如果上述圖像特征相同，即識別外觀相同的兩個遠(yuǎn)程可交互裝置時，需要識別裝置所處的位置以區(qū)分這兩個裝置，或用定位技術(shù)獲取裝置的位置參數(shù)；

本系統(tǒng)的各組成部分的連接關(guān)系如下：

本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接；計算服務(wù)器與本地空間和遠(yuǎn)程空間通過無線網(wǎng)絡(luò)連接；

本系統(tǒng)的各組成部分的功能如下：

計算服務(wù)器的功能是恢復(fù)用戶手勢及本地空間的三維信息以及進(jìn)行手勢識別；

本地空間中的遠(yuǎn)程可交互裝置的功能是實現(xiàn)遠(yuǎn)程交互；其中，標(biāo)識的功能是用于區(qū)分和識別裝置；驅(qū)動器的功能是實現(xiàn)自動控制；無線通信網(wǎng)絡(luò)的功能是實現(xiàn)遠(yuǎn)程可交互裝置與互聯(lián)網(wǎng)連接；

本地空間中的遠(yuǎn)程呈現(xiàn)機器人的功能是在本地空間移動，獲取本地空間的實時視頻圖像；

遠(yuǎn)程空間中的交互式VR眼鏡的功能是在遠(yuǎn)程空間提供給用戶以虛擬現(xiàn)實的方式感知本地空間，并通過手勢與本地空間中的遠(yuǎn)程可交互裝置進(jìn)行交互。