[發(fā)明專(zhuān)利]一種基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法及人機(jī)交互設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910072802.6
• 申請(qǐng)日: 2019-01-25
• 公開(kāi)（公告）號(hào): CN109725733A
• 公開(kāi)（公告）日: 2019-05-07
• 發(fā)明（設(shè)計(jì)）人: 盧惠民;王潤(rùn)澤;周宗潭;肖軍浩;曾志文;于清華;張輝;鄭志強(qiáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01;G06T17/00
• 代理公司: 湖南兆弘專(zhuān)利事務(wù)所(普通合伙) 43008
• 代理人: 周長(zhǎng)清;胡君

1.一種基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，步驟包括：

S1.被控機(jī)器人實(shí)時(shí)采集所處環(huán)境的實(shí)景圖像，并根據(jù)所述實(shí)景圖像構(gòu)建對(duì)應(yīng)的環(huán)境地圖，將所述實(shí)景圖像以及構(gòu)建的環(huán)境地圖回傳至控制端；

S2.控制端接收被控機(jī)器人回傳的所述實(shí)景圖像、環(huán)境地圖，對(duì)所述實(shí)景圖像進(jìn)行目標(biāo)檢測(cè)，定位出目標(biāo)所在區(qū)域并獲取目標(biāo)的位置信息存儲(chǔ)至所述環(huán)境地圖中，根據(jù)獲取的所述目標(biāo)的位置信息在所述實(shí)景圖像中使用增強(qiáng)現(xiàn)實(shí)方法疊加標(biāo)注信息以對(duì)目標(biāo)進(jìn)行標(biāo)注。

2.根據(jù)權(quán)利要求1所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S2中對(duì)所述實(shí)景圖像進(jìn)行目標(biāo)檢測(cè)的步驟包括：

S21.對(duì)所述實(shí)景圖像進(jìn)行圖像分割，定位得到目標(biāo)所在的像素區(qū)域；

S22.獲取所述實(shí)景圖像的深度圖像，根據(jù)所述深度圖像以及步驟S21確定的目標(biāo)所在的像素區(qū)域定位到目標(biāo)的位置，獲取得到目標(biāo)的位置信息并存儲(chǔ)至所述環(huán)境地圖中。

3.根據(jù)權(quán)利要求2所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S21中使用全卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行目標(biāo)像素級(jí)的圖像分割；所述步驟S22中具體使用分割掩模與所述深度圖像獲取目標(biāo)相對(duì)相機(jī)的位置信息進(jìn)行存儲(chǔ)。

4.根據(jù)權(quán)利要求1或2或3所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S2中將目標(biāo)的位置信息存儲(chǔ)至所述環(huán)境地圖中時(shí)，具體在獲取得到目標(biāo)的位置信息后，計(jì)算目標(biāo)在世界坐標(biāo)系下與目標(biāo)周?chē)貓D點(diǎn)的相對(duì)位置，將地圖點(diǎn)索引與所述相對(duì)位置作為目標(biāo)的位置信息進(jìn)行存儲(chǔ)。

5.根據(jù)權(quán)利要求1或2或3所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S2中使用增強(qiáng)現(xiàn)實(shí)方法疊加標(biāo)注信息時(shí)，提取所有所存儲(chǔ)在世界坐標(biāo)系下的目標(biāo)點(diǎn)的位置信息，并根據(jù)被控機(jī)器人中圖像采集設(shè)備的當(dāng)前位姿解算出各目標(biāo)點(diǎn)在圖像采集設(shè)備坐標(biāo)系下的位置信息，根據(jù)解算出的位置信息在所述實(shí)景圖像的對(duì)應(yīng)位置處疊加所需的標(biāo)注信息以標(biāo)注各目標(biāo)點(diǎn)。

6.根據(jù)權(quán)利要求5所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S2還包括當(dāng)解算出的目標(biāo)點(diǎn)的位置信息不在被控機(jī)器人的圖像采集設(shè)備的當(dāng)前視野下時(shí)，根據(jù)目標(biāo)點(diǎn)的位置信息將目標(biāo)重投影到當(dāng)前的圖像坐標(biāo)系下，根據(jù)重投影計(jì)算得到的位置在所述實(shí)景圖像中疊加用于指示目標(biāo)方向的方向信息。

7.根據(jù)權(quán)利要求6所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S2還包括當(dāng)目標(biāo)重新出現(xiàn)在被控機(jī)器人的圖像采集設(shè)備的當(dāng)前視野下時(shí)，根據(jù)目標(biāo)點(diǎn)的位置信息重新在所述實(shí)景圖像中疊加目標(biāo)的標(biāo)注信息。

8.根據(jù)權(quán)利要求1或2或3所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，所述步驟S1中建立所述環(huán)境地圖時(shí)，使用基于特征的SLAM方法計(jì)算地圖數(shù)據(jù)并實(shí)時(shí)獲取被控機(jī)器人中圖像采集設(shè)備的位姿信息，以地圖點(diǎn)和關(guān)鍵幀的形式表示世界模型。

9.根據(jù)權(quán)利要求8所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法，其特征在于，還包括根據(jù)實(shí)景圖像的實(shí)時(shí)更新數(shù)據(jù)對(duì)所述世界模型進(jìn)行更新優(yōu)化的步驟。

10.一種基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互設(shè)備，包括被控機(jī)器人以及控制端，被控機(jī)器人上設(shè)置有用于圖像采集的圖像采集設(shè)備，其特征在于，所述被控機(jī)器人以及控制端被編程以執(zhí)行權(quán)利要求1～9中任意一項(xiàng)所述的基于增強(qiáng)現(xiàn)實(shí)的人機(jī)交互方法的步驟。