[發(fā)明專利]基于IMU的三維空間手寫輸入方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202011506838.X
• 申請(qǐng)日: 2020-12-18
• 公開（公告）號(hào): CN112486331A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 徐楓;伊昕宇;楊東
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06F3/0346
• 分類號(hào): G06F3/0346;G06F3/01;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 韓海花

1.一種基于IMU的三維空間手寫輸入方法，其特征在于，包括：

獲取用戶的各個(gè)位置上慣性測(cè)量單元IMU傳感器采集到的多個(gè)慣性信息；

通過深度神經(jīng)網(wǎng)絡(luò)對(duì)所述多個(gè)慣性信息進(jìn)行處理，獲取所述用戶的骨骼鏈姿態(tài)信息；

通過正向動(dòng)力學(xué)對(duì)所述骨骼鏈姿態(tài)信息進(jìn)行求解，獲取所述用戶的手部位置，并根據(jù)所述手部位置和歷史位置信息形成三維手寫軌跡。

2.如權(quán)利要求1所述基于IMU的三維空間手寫輸入方法，其特征在于，所述慣性測(cè)量單元IMU傳感器分別安裝在所述用戶的任一手腕、任一大臂和腰上；

通過藍(lán)牙或無線技術(shù)接收所述慣性測(cè)量單元IMU傳感器采集到的多個(gè)慣性信息。

3.如權(quán)利要求1所述基于IMU的三維空間手寫輸入方法，其特征在于，還包括：

初次使用時(shí)所述用戶在確定姿態(tài)下采集的IMU設(shè)備坐標(biāo)系、IMU全局慣性坐標(biāo)系、骨骼模型全局坐標(biāo)系和每個(gè)骨骼本身坐標(biāo)系之間的變換關(guān)系，確定IMU測(cè)量值和真實(shí)骨骼旋轉(zhuǎn)之間的旋轉(zhuǎn)偏差量。

4.如權(quán)利要求1所述基于IMU的三維空間手寫輸入方法，其特征在于，在所述通過深度神經(jīng)網(wǎng)絡(luò)對(duì)所述多個(gè)慣性信息進(jìn)行處理之前，還包括：

通過預(yù)設(shè)算法對(duì)所述多個(gè)慣性信息進(jìn)行校驗(yàn)處理，并將所述多個(gè)慣性信息下采樣到預(yù)設(shè)頻率上；其中，所述預(yù)設(shè)頻率公式為：f_s＝max(30,min(f_IMU1,f_IMU2,f_IMU3))。

5.如權(quán)利要求3所述基于IMU的三維空間手寫輸入方法，其特征在于，所述通過深度神經(jīng)網(wǎng)絡(luò)對(duì)所述多個(gè)慣性信息進(jìn)行處理，獲取所述用戶的骨骼鏈姿態(tài)信息，包括：

根據(jù)所述旋轉(zhuǎn)偏差量和所述多個(gè)慣性信息計(jì)算骨架的旋轉(zhuǎn)矩陣和加速度輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，估計(jì)手臂骨骼鏈上關(guān)節(jié)的旋轉(zhuǎn)信息，獲取所述骨骼鏈姿態(tài)信息。

6.如權(quán)利要求1所述基于IMU的三維空間手寫輸入方法，其特征在于，所述通過正向動(dòng)力學(xué)對(duì)所述骨骼鏈姿態(tài)信息進(jìn)行求解，獲取所述用戶的手部位置，并根據(jù)所述手部位置和歷史位置信息形成三維手寫軌跡，包括：

根據(jù)所述骨骼鏈姿態(tài)信息和已知的骨骼長度信息計(jì)算手部關(guān)節(jié)坐標(biāo)；

根據(jù)所述手部關(guān)節(jié)坐標(biāo)結(jié)合所述歷史位置信息形成所述三維手寫軌跡。

7.一種基于IMU的三維空間手寫輸入裝置，其特征在于，包括：

獲取模塊，用于獲取用戶的各個(gè)位置上慣性測(cè)量單元IMU傳感器采集到的多個(gè)慣性信息；

處理模塊，用于通過深度神經(jīng)網(wǎng)絡(luò)對(duì)所述多個(gè)慣性信息進(jìn)行處理，獲取所述用戶的骨骼鏈姿態(tài)信息；

生成模塊，用于通過正向動(dòng)力學(xué)對(duì)所述骨骼鏈姿態(tài)信息進(jìn)行求解，獲取所述用戶的手部位置，并根據(jù)所述手部位置和歷史位置信息形成三維手寫軌跡。

8.如權(quán)利要求7所述基于IMU的三維空間手寫輸入裝置，其特征在于，所述慣性測(cè)量單元IMU傳感器分別安裝在所述用戶的任一手腕、任一大臂和腰上；所述獲取模塊，具體用于：

通過藍(lán)牙或無線技術(shù)接收所述慣性測(cè)量單元IMU傳感器采集到的多個(gè)慣性信息。

9.如權(quán)利要求6所述基于IMU的三維空間手寫輸入裝置，其特征在于，還包括：

確定模塊，用于初次使用時(shí)所述用戶在確定姿態(tài)下采集的IMU設(shè)備坐標(biāo)系、IMU全局慣性坐標(biāo)系、骨骼模型全局坐標(biāo)系和每個(gè)骨骼本身坐標(biāo)系之間的變換關(guān)系，確定IMU測(cè)量值和真實(shí)骨骼旋轉(zhuǎn)之間的旋轉(zhuǎn)偏差量。

10.如權(quán)利要求9所述基于IMU的三維空間手寫輸入裝置，其特征在于，所處理模塊，具體用于：

根據(jù)所述旋轉(zhuǎn)偏差量和所述多個(gè)慣性信息計(jì)算骨架的旋轉(zhuǎn)矩陣和加速度輸入循環(huán)神經(jīng)網(wǎng)絡(luò)，估計(jì)手臂骨骼鏈上關(guān)節(jié)的旋轉(zhuǎn)信息，獲取所述骨骼鏈姿態(tài)信息。