[發明專利]一種人機交互方法及基于骨傳導交互的AR眼鏡

在審

• 申請號: 201910934490.5
• 申請日: 2019-09-29
• 公開（公告）號: CN110727349A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 范群文;楊珺婷
• 申請（專利權）人: 上海貓虎網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06F3/0487;G02B27/01;G10L15/22
• 代理公司: 33240 杭州君度專利代理事務所(特殊普通合伙)
• 代理人: 楊天嬌

1.一種人機交互方法，應用于AR眼鏡，所述AR眼鏡包括鏡架和鏡片，其特征在于，所述鏡片上顯示有光標以及一個或多個UI元素，所述鏡架上至少安裝有一顆骨傳導麥克風，所述人機交互方法，包括：

以預設間隔獲取光標的坐標以及獲取時的系統時間，判斷光標的坐標與UI元素的坐標是否存在交集；

若光標的坐標與UI元素的坐標存在交集，則記錄交集時光標的坐標和系統時間，并獲取所述骨傳導麥克風輸出的實時音頻，將實時音頻與預采集的叩齒音頻進行特征匹配，得到匹配結果；

根據所述匹配結果生成交互事件；

根據交互事件以及交集時光標的坐標和系統時間執行對應的交互動作。

2.如權利要求1所述的人機交互方法，其特征在于，所述人機交互方法還包括：

使用者初次使用AR眼鏡時，引導使用者做叩齒動作，通過骨傳導麥克風采集使用者做叩齒動作時產生的聲音，提取所述聲音中的叩齒音頻作為所述預采集的叩齒音頻。

3.如權利要求2所述的人機交互方法，其特征在于，所述提取聲音中的叩齒音頻時，采用record算法進行提取，所述record算法包括：

讀取骨傳導麥克風輸入的音頻流；

搜索音頻流中最大數所在的索引n，以索引n為起點向前推進a個數得到n1，以索引n為起點向后推進b個數得到n2，截取音頻流中索引n1至n2之間的數作為原始匹配音；

對所述原始匹配音進行降噪處理，包括：取原始匹配音進行快速傅里葉變換，并將零頻分量移動至頻譜中心，將移動后的音頻的兩端去除，對去除兩端后的音頻進行反傅里葉變換，取反傅里葉變換后得到的實部作為叩齒音頻。

4.如權利要求1所述的人機交互方法，其特征在于，所述將實時音頻與預采集的叩齒音頻進行特征匹配，得到匹配結果時，采用TeethClick算法進行匹配，所述TeethClick算法包括：

讀取預采集的叩齒音頻，對預采集的叩齒音頻進行預處理，得到第一數據集；

獲取實時音頻，對實時音頻進行預處理，得到第二數據集；

計算所述第一數據集和第二數據集之間的協方差cov；

計算所述第一數據集的均方根d1，以及第二數據集的均方根d2；

計算叩齒音頻和實時音頻的相關度coe，coe＝abs(cov)/(d1*d2)；

若所述相關度coe大于相關閾值，則匹配結果為匹配成功；反之則匹配結果為匹配失敗；

所述預處理包括：對輸入的音頻進行快速傅里葉變換，將快速傅里葉變換后的音頻中的零頻分量移動至頻譜中心并取絕對值，取絕對值后得到的音頻的后一半進行歸一化處理，得到數據集。

5.如權利要求4所述的人機交互方法，其特征在于，所述交互事件包括單擊事件和雙擊事件，所述根據匹配結果生成交互事件，包括：

獲取匹配結果，若匹配結果為匹配成功，則獲取上一次交集時的得到矩形區域和系統時間，若上一次交集時的矩形區域為空，則生成一個單擊事件，并以本次交集時光標和UI元素的交集坐標為中心在UI元素上計算得到一個矩形區域；

若上一次交集時的矩形區域不為空，則以本次交集時光標和UI元素的交集坐標為中心在UI元素上計算得到一個矩形區域；并計算本次交集的系統時間與上一次交集的系統時間的時間間隔，若時間間隔大于間隔閾值，則生成一個單擊事件；若時間間隔小于或等于間隔閾值，則判斷本次交集的光標坐標是否位于上一次交集得到的矩形區域內；若本次交集的光標坐標位于上一次交集得到的矩形區域內，則生成一個單擊事件的同時生成一個雙擊事件；反之則生成一個單擊事件；

若匹配結果為匹配失敗，則繼續進行下一個實時音頻的匹配。