[發(fā)明專利]AR觸控方法、裝置、系統(tǒng)及AR設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910208730.3
• 申請(qǐng)日: 2019-03-19
• 公開（公告）號(hào): CN109976636B
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 李江;王行;李驪;周曉軍;盛贊;李朔;楊淼
• 申請(qǐng)（專利權(quán)）人: 北京華捷艾米科技有限公司
• 主分類號(hào): G06F3/0484
• 分類號(hào): G06F3/0484;G06F3/0488;G06T19/00
• 代理公司: 北京博思佳知識(shí)產(chǎn)權(quán)代理有限公司 11415
• 代理人: 林祥

1.一種AR觸控方法，其特征在于，包括：

獲取包括操作平臺(tái)的深度圖像，利用深度圖像中的深度信息分割出觸控物體與所述操作平臺(tái)；

確定所述觸控物體與所述操作平臺(tái)接觸；

基于所述觸控物體與所述操作平臺(tái)的接觸確定所述觸控物體在操作平臺(tái)上進(jìn)行的操作；

基于所述觸控物體在操作平臺(tái)上進(jìn)行的操作，實(shí)現(xiàn)對(duì)帶有顯示屏的電子設(shè)備的操控，并在所述顯示屏上顯示所述操作；

所述利用深度圖像中的深度信息分割出觸控物體與所述操作平臺(tái)包括：

在所述深度圖像中，確定所述操作平臺(tái)的像素坐標(biāo)；

將與所述操作平臺(tái)的像素坐標(biāo)相同、深度值不同的部分確定為觸控物體；

通過以下方式確定操作平臺(tái)的像素坐標(biāo)：

基于所述深度圖像獲得點(diǎn)云；

基于點(diǎn)云及空間坐標(biāo)確定操作平臺(tái)所在平面；

將設(shè)定范圍內(nèi)的平面區(qū)域確定為操作平臺(tái)，并確定所述操作平臺(tái)的空間坐標(biāo)；

將所述操作平臺(tái)的空間坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)，以確定所述操作平臺(tái)的像素坐標(biāo)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定觸控物體與操作平臺(tái)接觸包括：確定觸控物體的尖端的像素位置，若尖端像素位置的深度值與操作平臺(tái)的深度值之差在設(shè)定范圍內(nèi)，則確定觸控物體與操作平臺(tái)接觸。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述確定觸控物體的尖端的像素位置包括：

利用輪廓檢測(cè)算法、凸包算法中的一種檢測(cè)出觸控物體的尖端，并確定所述尖端所在的像素位置。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述觸控物體與所述操作平臺(tái)的接觸確定所述觸控物體在操作平臺(tái)上進(jìn)行的操作包括：

依據(jù)接觸時(shí)長(zhǎng)和接觸區(qū)域位置的變化速度、變化方向和變化大小確定在所述操作平臺(tái)上進(jìn)行的操作。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述操作包括拖動(dòng)操作、點(diǎn)擊操作、左右翻頁操作、放大縮小操作中的至少一種。

6.一種AR觸控裝置，其特征在于，包括：

建立單元，用于獲取包括操作平臺(tái)的深度圖像，利用深度圖像中的深度信息分割出觸控物體與所述操作平臺(tái)；

接觸確定單元，用于確定所述觸控物體與所述操作平臺(tái)接觸；

操作確定單元，用于基于所述觸控物體與所述操作平臺(tái)的接觸確定所述觸控物體在操作平臺(tái)上進(jìn)行的操作；

執(zhí)行單元，用于基于所述觸控物體在操作平臺(tái)上進(jìn)行的操作，實(shí)現(xiàn)對(duì)帶有顯示屏的電子設(shè)備的操控，并在所述顯示屏上顯示所述操作；

所述建立單元還用于：

在所述深度圖像中，確定所述操作平臺(tái)的像素坐標(biāo)；

將與所述操作平臺(tái)的像素坐標(biāo)相同、深度值不同的部分確定為觸控物體；

通過以下方式確定操作平臺(tái)的像素坐標(biāo)：

基于所述深度圖像獲得點(diǎn)云；

基于點(diǎn)云及空間坐標(biāo)確定操作平臺(tái)所在平面；

將設(shè)定范圍內(nèi)的平面區(qū)域確定為操作平臺(tái)，并確定所述操作平臺(tái)的空間坐標(biāo)；

將所述操作平臺(tái)的空間坐標(biāo)轉(zhuǎn)換為像素坐標(biāo)，以確定所述操作平臺(tái)的像素坐標(biāo)。