[發明專利]使人機接口設備個性化的系統、方法與計算機可讀介質

有效

• 申請號: 201980006670.5
• 申請日: 2019-01-18
• 公開（公告）號: CN111566600B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: R·巴特查里亞;I·穆罕默德扎扎德
• 申請（專利權）人: 赫爾實驗室有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;A61B5/375;A61B5/16;A61B5/18;A61B5/377;A61B5/00;A61B5/0245;G06N20/00;A61N1/36;A61B5/369
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 師瑋;王小東

使人機接口設備個性化的系統、方法與計算機可讀介質。描述了一種基于用戶的精神和身體狀態來使人機接口(HMI)設備個性化的系統。在模擬環境中執行任務期間，所述系統從采集自身體傳感器的數據提取生物特征，并且從腦電圖(EEG)信號提取腦熵特征。將所述腦熵特征與所述生物特征相關聯，以生成精神狀態模型。在操作環境中執行所述任務期間，在HMI設備中部署所述精神狀態模型，以使所述HMI設備連續適應其用戶的精神和身體狀態。

相關申請的交叉引用

這是2018年1月22日在美國提交的、題為“Neuro-Adaptive?Body?Sensing?forUser?States?Framework(NABSUS)”的美國臨時申請No.62/620,357的非臨時申請，該臨時申請的全部內容通過引用并入于此。

本申請也是2018年11月14日在美國提交的、題為“Neuro-Adaptive?Body?Sensingfor?User?States?Framework(NABSUS)”的美國臨時申請No.62/767,276的非臨時申請，該臨時申請的全部內容通過引用并入于此。

技術領域

本發明涉及用于使人機接口設備個性化的系統，更具體地，涉及用于使這樣的人機接口設備個性化的系統：該人機接口設備利用來自用戶的生物信號以使其適應用戶。

背景技術

當前，沒有能夠評估操作者/用戶在處理人機接口(HMI)時所處的認知控制水平的可靠工具(參見并入參考文獻列表中的參考文獻No.1)。HMI是能夠處理人機交互的設備的組件(例如，附接到用戶的傳感器、提取有用信息的處理單元、向用戶顯示輸出的顯示器)。該接口由允許將用戶輸入轉化為向用戶提供所需結果的機器的信號的硬件和軟件組成。

一些HMI設計利用了調查表，例如NASA任務負荷指數(NASA-TLX)，這是一種對感知到的工作量進行評分以便評估任務、系統、用戶或團隊的效率或其它表現方面的主觀的多維評估工具。人們認為在HMI設計中使用調查表(例如NASA?TLX)不足以理解用戶認知和情緒狀態中的某些形式的動態信息。

研究人員還使用腦電圖(EEG)信號來控制HMI并提取用戶的精神狀態(見參考文獻No.1和No.3)。然而，即使使用當前技術的“易用帽(easy-cap)”和干電極技術，EEG采集對于不喜歡佩戴EEG帽的用戶也不方便(可用性因素)。此外，當前的HMI上下文相關的，并且該接口不能推廣到其它操作上下文。在操作上下文中提取有用的EEG特征有時需要大量的數據清理和預處理步驟，并且主要依賴于事件相關電位(ERP)信號，而不是連續記錄EEG(見參考文獻No.4)。

此外，心率變異性(HRV)傳感器和皮電反應(GSR)傳感器已用于檢測精神、認知和身體狀態，例如壓力和身體活動(見參考文獻No.5、No.6和No.7)。然而，使用這些信號的準確性存在局限性，因為不同上下文中的不同認知狀態可能會產生相似的HRV/GSR輸出，這使得難以區分不同水平的認知負荷。

盡管生物信號中有豐富的信息內容(例如HRV和GSR)，但尚未將其與EEG融合，因此當前基于EEG的HMI中的設計(例如ARL-HRED提出的一種設計)(見參考文獻No.3)缺乏通用且魯棒的特征(在EEG質量下降的情況下)，特別是在動態上下文中。大多數最新研究僅在實驗室環境中進行了測試，而未在操作現場中進行過測試。此外，這些研究僅限于在某些條件下有效，例如EEG信號的高信噪比，這在操作情境下不切實際。例如，要求戰場上的士兵戴上EEG頭戴裝置(即使電極很少)是不切實際的，因為該頭戴裝置很重并且很容易受到噪聲(例如運動偽影)的影響。當前，現有技術缺乏使以用戶為中心的HMI個性化的能力。