[發明專利]一種人機交互方法及基于骨傳導交互的AR眼鏡

在審

• 申請號: 201910934490.5
• 申請日: 2019-09-29
• 公開（公告）號: CN110727349A
• 公開（公告）日: 2020-01-24
• 發明（設計）人: 范群文;楊珺婷
• 申請（專利權）人: 上海貓虎網絡科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/16;G06F3/0487;G02B27/01;G10L15/22
• 代理公司: 33240 杭州君度專利代理事務所(特殊普通合伙)
• 代理人: 楊天嬌

本發明公開了一種人機交互方法及基于骨傳導交互的AR眼鏡，應用于AR眼鏡，AR眼鏡包括鏡架和鏡片，鏡片上顯示有光標以及UI元素，鏡架上至少安裝有一顆骨傳導麥克風，人機交互方法包括：以預設間隔獲取光標的坐標以及獲取時的系統時間，判斷光標的坐標與UI元素的坐標是否存在交集；若光標的坐標與UI元素的坐標存在交集，則記錄交集時光標的坐標和系統時間，并獲取骨傳導麥克風輸出的實時音頻，將實時音頻與預采集的叩齒音頻進行特征匹配，得到匹配結果；根據匹配結果生成交互事件；根據交互事件以及交集時光標的坐標和系統時間執行對應的交互動作。本發明實現低延遲、低功耗、高效率的交互，解決了目前AR眼鏡交互不便或計算資源消耗較高的問題。

技術領域

本申請屬于AR眼鏡技術領域，具體涉及一種人機交互方法及基于骨傳導交互的AR眼鏡。

背景技術

AR眼鏡是通過眼鏡光學成像，由于它沒有觸摸屏，不能像手機那樣在觸摸屏上點擊交互。因此，如何設計一種簡易便捷的交互裝置成為AR領域亟待突破的重大問題之一。許多研究人員在交互裝置和方法上進行了多年探索，形成幾種主流的交互方法，主要有：無線手柄交互裝置、自然語言語音交互、手勢交互等。這些交互方式豐富了AR體驗，但仍然存在一些缺陷。如，用無線手柄需要時刻攜帶并手持這一配件，整體使用不方便；基于計算機視覺的手勢識別占用了大量計算資源，導致性能降低，發熱大，電池消耗很快；自然語言交互則錄制指令時間長，效率低，依賴聯網處理，完成單次交互等待時間較長。

現有的語音交互技術中，普遍應用的是自然語言語音交互技術。它的交互方式通常需要用戶組織語言說出一些特定的指令，然后AR眼鏡將包含該語音指令的音頻剪輯，并通過網絡發送到云端進行識別以提高識別準確率，最后返回語音識別結果到AR眼鏡，AR眼鏡再執行相關命令。

但是，采用自然語言交互技術存在諸多缺點，一是還不能實現在任意界面進行快速點擊等簡單交互；二是需要錄制較長時間的自然語言指令，通常單次最短錄制時間為3秒及以上，且依賴網絡識別，延時大，人機交互操作效率低；三是識別錯誤率較高，即便是發送到云端語音識別，錯誤也時有發生；四是私密性差，語音交互對話容易泄露隱私機密或打擾到他人。

發明內容

本申請的目的在于提供一種人機交互方法及基于骨傳導交互的AR眼鏡，通過骨傳導麥克風對人的叩齒聲音進行采集，提取用戶叩齒聲特征作為目標匹配音，用戶可用叩齒動作模擬交互中的點擊等操控事件，實現低延遲、低功耗、高效率的交互，解決了目前AR眼鏡交互不便或計算資源消耗較高的問題。

為實現上述目的，本申請所采取的技術方案為：

一種人機交互方法，應用于AR眼鏡，所述AR眼鏡包括鏡架和鏡片，所述鏡片上顯示有光標以及一個或多個UI元素，所述鏡架上至少安裝有一顆骨傳導麥克風，所述人機交互方法，包括：

以預設間隔獲取光標的坐標以及獲取時的系統時間，判斷光標的坐標與UI元素的坐標是否存在交集；

若光標的坐標與UI元素的坐標存在交集，則記錄交集時光標的坐標和系統時間，并獲取所述骨傳導麥克風輸出的實時音頻，將實時音頻與預采集的叩齒音頻進行特征匹配，得到匹配結果；

根據所述匹配結果生成交互事件；

根據交互事件以及交集時光標的坐標和系統時間執行對應的交互動作。

作為優選，所述人機交互方法還包括：

使用者初次使用AR眼鏡時，引導使用者做叩齒動作，通過骨傳導麥克風采集使用者做叩齒動作時產生的聲音，提取所述聲音中的叩齒音頻作為所述預采集的叩齒音頻。

作為優選，所述提取聲音中的叩齒音頻時，采用record算法進行提取，所述record算法包括：

讀取骨傳導麥克風輸入的音頻流；