[發(fā)明專利]適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010777703.0
• 申請(qǐng)日: 2020-08-05
• 公開（公告）號(hào): CN112114663B
• 公開（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 王黨校;郭園;童倩倩;張玉茹
• 申請(qǐng)（專利權(quán)）人: 北京航空航天大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06F8/20
• 代理公司: 北京薈英捷創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11726
• 代理人: 段志慧

1.一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，所述軟件框架包括視覺(jué)組件、觸覺(jué)組件、硬件組件和核心管理組件，其特征在于，該實(shí)現(xiàn)方法具體如下：

S100，利用硬件組件將不同類型的硬件設(shè)備接入系統(tǒng)，利用視覺(jué)組件構(gòu)建虛擬現(xiàn)實(shí)應(yīng)用場(chǎng)景；

S200，實(shí)時(shí)獲取用戶的交互動(dòng)作，將用戶的交互動(dòng)作映射到虛擬場(chǎng)景中，觸覺(jué)組件執(zhí)行碰撞檢測(cè)，獲取碰撞信息；

S300，觸覺(jué)組件根據(jù)所述碰撞信息，判斷用戶虛擬化身與虛擬物體之間的接觸類型：如果是單點(diǎn)接觸，直接轉(zhuǎn)到步驟S400；如果是多點(diǎn)接觸，根據(jù)需求先執(zhí)行接觸約減，得到能夠表征用戶虛擬化身與虛擬物體之間接觸特征的有效接觸對(duì)后，再轉(zhuǎn)到步驟S400；其中，所述執(zhí)行接觸約減包括：首先通過(guò)接觸降維減少冗余接觸，然后采用接觸聚類方法減少需要處理的接觸數(shù)量，進(jìn)行大規(guī)模約束優(yōu)化問(wèn)題的求解，以建立多點(diǎn)接觸的有效約束；

S400，觸覺(jué)組件根據(jù)所述接觸類型，以及用戶虛擬化身與虛擬物體物理屬性的不同采用不同的接觸處理方案執(zhí)行碰撞響應(yīng)計(jì)算；其中，根據(jù)物理屬性的不同將用戶虛擬化身與虛擬物體的交互分為四類：剛性工具與剛性物體的交互、剛性工具與柔性物體的交互、柔性工具與剛性物體的交互以及柔性工具與柔性物體的交互；針對(duì)用戶虛擬化身與虛擬物體物理屬性的不同，采用以下方法來(lái)執(zhí)行碰撞響應(yīng)計(jì)算：當(dāng)用戶虛擬化身與虛擬物體均為剛性體時(shí)，建立兩個(gè)對(duì)象之間的非穿透約束；當(dāng)用戶虛擬化身為剛性體、虛擬物體為柔性體時(shí)，在建立兩個(gè)對(duì)象之間的非穿透約束時(shí)需要處理柔性虛擬物體的表面形變；當(dāng)用戶虛擬化身為柔性體、虛擬物體為剛性體時(shí)，在建立兩個(gè)對(duì)象之間的非穿透約束時(shí)需要處理柔性虛擬化身的位移變化；當(dāng)用戶虛擬化身與虛擬物體均為柔性體時(shí)，在建立兩個(gè)對(duì)象之間的非穿透約束時(shí)需要處理柔性虛擬化身的位移變化、兩個(gè)柔性體的表面形變；

S500，根據(jù)碰撞響應(yīng)計(jì)算的結(jié)果，視覺(jué)組件對(duì)虛擬場(chǎng)景的圖形顯示進(jìn)行更新，與此同時(shí)在核心管理組件的協(xié)調(diào)下，力反饋設(shè)備通過(guò)硬件組件獲取需要的力反饋信息并將其提供給用戶，使用戶獲得視-觸覺(jué)融合反饋的沉浸式體驗(yàn)。

2.根據(jù)權(quán)利要求1所述的一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，其特征在于，所述硬件組件包括接入和調(diào)度不同硬件設(shè)備所需的驅(qū)動(dòng)程序，并將驅(qū)動(dòng)程序封裝為動(dòng)態(tài)庫(kù)，所述核心管理組件通過(guò)調(diào)用動(dòng)態(tài)庫(kù)動(dòng)態(tài)加載硬件設(shè)備，通過(guò)統(tǒng)一的IO接口實(shí)現(xiàn)核心管理組件與硬件設(shè)備之間的讀寫操作。

3.根據(jù)權(quán)利要求1所述的一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，其特征在于，所述觸覺(jué)組件包括力觸覺(jué)合成算法。

4.根據(jù)權(quán)利要求3所述的一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，其特征在于，所述力觸覺(jué)合成算法采用混合模型，用于模擬具有規(guī)則、平滑幾何特征的物體以及具有復(fù)雜幾何外形的物體；

所述力觸覺(jué)合成算法采用混合模型包括，以層次化球樹模型為主導(dǎo)，利用球樹模型在執(zhí)行接觸處理步驟時(shí)的球體各向相同的性質(zhì)，通過(guò)對(duì)比兩個(gè)球體中心之間的距離和半徑之和來(lái)確定碰撞信息，對(duì)于具有復(fù)雜幾何外形的物體的模擬，采用具有細(xì)節(jié)表征能力的三角片網(wǎng)格模型來(lái)刻畫具有尖銳幾何特征的區(qū)域；

所述復(fù)雜幾何外形的物體為具有尖銳幾何特征的物體。

5.根據(jù)權(quán)利要求3所述的一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，其特征在于，所述力觸覺(jué)合成算法從三個(gè)方面提高柔性對(duì)象的力觸覺(jué)交互仿真的處理速度：接觸約束的約減、有限元模擬的降維處理以及約束優(yōu)化求解的并行處理。

6.根據(jù)權(quán)利要求1所述的一種適用于視觸覺(jué)融合反饋的虛擬現(xiàn)實(shí)軟件框架的實(shí)現(xiàn)方法，其特征在于，所述碰撞響應(yīng)計(jì)算能得到用戶虛擬化身與虛擬物體之間的接觸力、用戶虛擬化身的位姿配置以及虛擬物體的動(dòng)態(tài)響應(yīng)效果；

其中，所述虛擬物體的動(dòng)態(tài)響應(yīng)效果包括變形、位移和斷裂。