[發明專利]一種基于PPG信息的智能設備交互方法

在審

• 申請號: 202010620635.7
• 申請日: 2020-07-01
• 公開（公告）號: CN111831116A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 鄒永攀;王丹;伍楷舜;劉金源;王云舒
• 申請（專利權）人: 深圳大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04;G06N3/08;G06N7/00;G06N20/10
• 代理公司: 北京市誠輝律師事務所 11430
• 代理人: 耿慧敏

本發明公開了一種基于PPG信息的智能設備交互方法，包括：采集目標用戶耳內的PPG信號；對采集到的PPG信號進行處理，提取包含頭部動作的PPG信號的波形特征值；將提取的PPG信號波形特征值輸入至深度學習模型，識別目標用戶當前的頭部動作類型，其中，所述深度學習模型是以該目標用戶PPG信號的波形特征值為輸入，以對應的頭部動作類型為輸出，通過訓練獲得。本發明能夠準確識別用戶頭部動作，進而將動作類型與智能設備的功能結合，實現新型的交互方式并提高了用戶的人機交互體驗。

技術領域

本發明涉及智能設備交互技術領域，更具體地，涉及一種基于PPG信息的智能設備交互方法。

背景技術

隨著可穿戴設備越來越廣泛的應用，不同的人機交互方式成了近年來人們關注的一個重點。由于可穿戴設備體積以及接觸面的限制，現有的交互方式諸如鍵盤輸入、觸屏等不能很好的滿足用戶與設備交互的需求。同時，這些交互方式通常需要用戶的全神貫注，并且需要使用手和眼睛，極大的占用了用戶的注意力，不能夠順暢地完成交互。因此，研究新型的交互方式迫在眉睫。

目前已有一些交互方式，如語音控制、面部表情控制、舌頭控制等。然而語音控制需要設備有麥克風，在安靜環境下使用不便，而在嘈雜環境下又容易受噪聲影響，不能夠準確的識別。面部表情控制的交互系統通常需要攝像頭或者在用戶的面部貼上傳感器，前者會侵犯用戶的隱私而且無法在黑暗條件下有效工作，而后者會給用戶造成使用上的不便。基于舌頭的交互方式則需要在舌頭上粘貼特殊的傳感器，不適合日常使用。這些系統都各自存在著一些問題，不能夠適應日常生活的使用場景。

此外，目前還存在聚焦在耳朵的使用上的技術方案。耳朵作為人類重要的感受器官，在與智能設備的交互過程中起到非常重要的作用。以耳機為例，由于人們佩戴耳機的時間越來越長，耳部成了一個非常利于采集信息的部位。同時，相對于視覺而言，聽覺占用的注意力要小得多，使得交互過程變得更流暢。例如，通過手機與耳朵的觸碰作為交互姿勢，同時用手機的攝像頭通過圖像識別的方式來檢測用戶的意圖。又如，在耳機上附加攝像頭與光學傳感器，通過對耳朵不同的拉扯動作改變的光學信號來傳達不同的意圖。另外一種方法制作了一個掛耳式的觸摸板，檢測手指觸碰耳朵的位置來生成基于位置的控制信號。可以看出，這些方法雖然不需要使用視覺，但仍然需要做一些特定的手勢才能完成交互，無法滿足一些不能用手的場景。除此之外，額外的設備可能會對耳朵造成負擔，導致用戶使用時的不適。

綜上，增加氣壓計，制作掛耳式的觸摸板等方案需要修改現有的智能設備系統并且增加額外的傳感器。而對于部分已經攜帶IMU(慣性測量單元)或者控制鍵的心率可穿戴設備(如耳機)而言，用于獲取心率數據的PPG(光電容積脈搏波)傳感器沒有替代品。

發明內容

本發明的目的是克服上述現有技術的缺陷，提供一種基于PPG信息的智能設備交互方法，利用PPG信號傳感器，通過測量用戶耳內的PPG信號，對頭部動作進行有效的檢測，并向相關設備反饋相應的控制信號，實現頭部對設備的控制。

本發明提供一種基于PPG信息的智能設備交互方法。該方法包括以下步驟：

采集目標用戶耳部的PPG信號；

對采集到的PPG信號進行處理，提取包含頭部動作的PPG信號的波形特征值；

將提取的PPG信號波形特征值輸入至深度學習模型，識別目標用戶當前的頭部動作類型，其中，所述深度學習模型是以該目標用戶PPG信號的波形特征值為輸入，以對應的頭部動作類型為輸出，通過訓練獲得。

在一個實施例中，對采集到的PPG信號進行處理，提取包含目標用戶頭部動作的PPG信號的波形特征值包括：

對采集的PPG信號，利用帶通濾波器去除噪音，并提取信號的包絡；

對所提取的包絡，識別并切割出包含頭部動作的包絡片段。