[發(fā)明專(zhuān)利]一種基于增強(qiáng)現(xiàn)實(shí)的6-DOF視觸覺(jué)交互方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010893239.1
• 申請(qǐng)日: 2020-08-31
• 公開(kāi)（公告）號(hào): CN112181135B
• 公開(kāi)（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 劉佳;郭斌;謝余磊;閆冬;卞方舟;錢(qián)昌宇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京信息工程大學(xué)
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T19/00;G06V20/20;G06V10/44;G06V10/75
• 代理公司: 南京經(jīng)緯專(zhuān)利商標(biāo)代理有限公司 32200
• 代理人: 周科技

本發(fā)明公開(kāi)了一種基于增強(qiáng)現(xiàn)實(shí)的6?DOF視觸覺(jué)交互方法，包括如下步驟：首先采用基于自然特征的方法搭建增強(qiáng)現(xiàn)實(shí)環(huán)境，然后添加觸覺(jué)反饋接口，將觸覺(jué)設(shè)備集成到增強(qiáng)現(xiàn)實(shí)環(huán)境中，通過(guò)視觸覺(jué)空間轉(zhuǎn)換矩陣，將觸覺(jué)空間轉(zhuǎn)換到真實(shí)空間，對(duì)場(chǎng)景中的真實(shí)觸控筆進(jìn)行虛擬注冊(cè)，實(shí)現(xiàn)視覺(jué)與觸覺(jué)的共址定位；基于觸覺(jué)設(shè)備的前向運(yùn)動(dòng)模型提出6?DOF的視觸覺(jué)交互方法，在所選自然特征模板上注冊(cè)虛擬物體，實(shí)現(xiàn)虛擬物體與虛擬觸控筆間的觸覺(jué)交互。當(dāng)發(fā)生交互操作時(shí)，能在視覺(jué)上保持觸控筆和虛擬觸控筆具有相同的運(yùn)動(dòng)姿態(tài)，實(shí)現(xiàn)更加自然、真實(shí)的交互。

技術(shù)領(lǐng)域

本發(fā)明涉及一種視觸覺(jué)交互的方法，更具體地說(shuō)是一種基于增強(qiáng)現(xiàn)實(shí)的6-DOF視觸覺(jué)交互方法。

背景技術(shù)

增強(qiáng)現(xiàn)實(shí)的關(guān)鍵技術(shù)有三維跟蹤注冊(cè)技術(shù)、虛實(shí)融合顯示技術(shù)和人機(jī)交互技術(shù)。目前，基于視覺(jué)跟蹤注冊(cè)技術(shù)收到越來(lái)越多的關(guān)注，主要可分為基于標(biāo)識(shí)物或自然特征的方法。基于標(biāo)識(shí)的方法是室內(nèi)增強(qiáng)現(xiàn)實(shí)應(yīng)用中最為常用的跟蹤注冊(cè)方法，如ARToolKit庫(kù)、ARTag庫(kù)和SRC庫(kù)等。但是該方法受標(biāo)識(shí)物的約束，且對(duì)光照、遮擋等因素有較為嚴(yán)格的要求。基于自然特征的增強(qiáng)現(xiàn)實(shí)技術(shù)一般利用自然場(chǎng)景中的點(diǎn)、線，顏色和紋理等圖像信息對(duì)目標(biāo)進(jìn)行實(shí)時(shí)的檢測(cè)、匹配與跟蹤。基于自然特征的增強(qiáng)現(xiàn)實(shí)技術(shù)只需要選取場(chǎng)景中的某個(gè)圖像作為注冊(cè)目標(biāo)，從而使渲染的虛實(shí)融合場(chǎng)景更加的真實(shí)、自然。交互技術(shù)是增強(qiáng)現(xiàn)實(shí)系統(tǒng)中與顯示技術(shù)和注冊(cè)技術(shù)密切相關(guān)的技術(shù)，滿(mǎn)足了人們?cè)谔摂M和現(xiàn)實(shí)世界自然交互的愿望。早期的增強(qiáng)現(xiàn)實(shí)研究中，用戶(hù)只能通過(guò)顯示設(shè)備觀看虛實(shí)效果，沒(méi)有太多與外界的交互。但隨著計(jì)算機(jī)性能的提高，僅“顯示”的增強(qiáng)現(xiàn)實(shí)場(chǎng)景不再能滿(mǎn)足用戶(hù)的需求，多種交互技術(shù)在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中應(yīng)用。

目前，增強(qiáng)現(xiàn)實(shí)中人機(jī)交互技術(shù)主要分為四類(lèi)，分別為基本命令式交互、雙手交互、多通道交互和特殊工具交互。人自身具有多種感官感知功能，可以將觸覺(jué)、聽(tīng)覺(jué)、力反饋等作為輸出，實(shí)現(xiàn)多通道的增強(qiáng)現(xiàn)實(shí)交互。在增強(qiáng)現(xiàn)實(shí)系統(tǒng)中加入觸覺(jué)感知，構(gòu)建視觸覺(jué)增強(qiáng)現(xiàn)實(shí)系統(tǒng)(Visuo-Haptic?Augmented?Reality，VHAR)，這主要運(yùn)用了多通道交互方式。VHAR的理念主要是將增強(qiáng)現(xiàn)實(shí)技術(shù)與觸覺(jué)相結(jié)合，滿(mǎn)足用戶(hù)在增強(qiáng)現(xiàn)實(shí)環(huán)境中看到并觸摸虛擬對(duì)象的需求，實(shí)現(xiàn)與虛擬對(duì)象的觸覺(jué)交互。觸覺(jué)增強(qiáng)現(xiàn)實(shí)技術(shù)已經(jīng)取得了一些初步的研究和探索。但是，目前的觸覺(jué)增強(qiáng)現(xiàn)實(shí)系統(tǒng)大多是基于標(biāo)識(shí)的增強(qiáng)現(xiàn)實(shí)系統(tǒng)中融入觸覺(jué)反饋，雖然基于標(biāo)識(shí)的觸覺(jué)增強(qiáng)現(xiàn)實(shí)系統(tǒng)為精確交互提供了保障，但是在很大程度上造成了場(chǎng)景的割裂感，且用戶(hù)通過(guò)觸覺(jué)設(shè)備與場(chǎng)景中虛擬對(duì)象進(jìn)行交互時(shí)，計(jì)算機(jī)并未對(duì)觸覺(jué)設(shè)備進(jìn)行合理的“增強(qiáng)”。基于自然特征搭建視觸覺(jué)融合的增強(qiáng)現(xiàn)實(shí)系統(tǒng)，不僅可以對(duì)場(chǎng)景進(jìn)行“增強(qiáng)”，還可以對(duì)用于交互的觸覺(jué)設(shè)備進(jìn)行“增強(qiáng)”，進(jìn)一步提升交互的真實(shí)性。

發(fā)明內(nèi)容

發(fā)明目的：為解決利用觸覺(jué)設(shè)備與虛擬對(duì)象實(shí)現(xiàn)更加自然、真實(shí)的交互問(wèn)題，本發(fā)明提出一種基于增強(qiáng)現(xiàn)實(shí)的6-DOF視觸覺(jué)交互方法。

技術(shù)方案：為實(shí)現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：一種基于增強(qiáng)現(xiàn)實(shí)的6-DOF視觸覺(jué)交互方法，包括以下步驟：

步驟1，將觸覺(jué)設(shè)備和相機(jī)初始化，在場(chǎng)景中放置自然特征模板a，通過(guò)相機(jī)實(shí)時(shí)采集場(chǎng)景圖像；對(duì)場(chǎng)景圖像中模板a進(jìn)行檢測(cè)和跟蹤，搭建基于自然特征的增強(qiáng)現(xiàn)實(shí)系統(tǒng)；

步驟2，獲取觸控筆的初始姿態(tài)信息，構(gòu)建視觸覺(jué)空間轉(zhuǎn)換矩陣，通過(guò)視觸覺(jué)空間轉(zhuǎn)換矩陣對(duì)場(chǎng)景中的觸覺(jué)設(shè)備末端的真實(shí)觸控筆進(jìn)行虛擬注冊(cè)，并添加觸覺(jué)反饋接口；

步驟3，基于視觸覺(jué)空間轉(zhuǎn)換關(guān)系將觸覺(jué)設(shè)備的前向運(yùn)動(dòng)模型融入觸覺(jué)交互過(guò)程，實(shí)時(shí)計(jì)算觸控筆的姿態(tài)信息，將觸覺(jué)設(shè)備的運(yùn)動(dòng)姿態(tài)映射到視覺(jué)空間；

步驟4，在場(chǎng)景中放置自然特征模板b，在模板b上注冊(cè)虛擬物體，對(duì)虛擬物體模型進(jìn)行繪制及渲染，使用步驟2中注冊(cè)的虛擬觸控筆與虛擬物體進(jìn)行交互，實(shí)現(xiàn)觸覺(jué)交互。