[發明專利]非感知的MR眼鏡人機識別方法、系統、設備及存儲介質

有效

• 申請號: 202010827032.4
• 申請日: 2020-08-17
• 公開（公告）號: CN111966223B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 陳濤
• 申請（專利權）人: 陳濤
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06F3/0346;G06F3/0484;G06F3/0487;G06V40/18;G06V10/80;G06V10/82;G06N3/04;G06N3/08;G02B27/01;H04L67/131;H04L9/40;H04L67/02
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

1.一種非感知的MR眼鏡人機識別方法，其特征在于，所述非感知的MR眼鏡人機識別方法包括：

第一步，設置在MR眼鏡用戶客戶端交互界面中的腳本或插件采集用于人機識別的數據的多種用戶行為數據，并將行為數據存儲至安全緩存器；

第二步，對獲取到的用戶行為原始數據進行預處理，并對預處理后的數據進行多個維度的特征提取；

第三步，當應用發出人機識別需求時，MR眼鏡將提取到的特征數據加密后發送給人機識別服務器，人機識別服務器對接收到的用戶行為數據進行解密計算后執行第四步；

第四步，人機識別服務器根據特征數據識別用戶當前應用場景，并選擇相應的人機識別特征模型；進一步包括：（1）眼睛注視點視覺軌跡模型：當存在閱讀場景時，選擇眼睛注視點視覺軌跡模型作為人機識別特征模型；

（2）眼睛無意識行為模型：

當不存在的搜索目的時，采用眼睛無意識行為模型作為人機識別特征模型；

（3）其他身體行為模型：

其他身體行為模型選擇頭動數據作為特征數據進行人工智能模型訓練得到；

第五步，用戶行為特征數據輸入到AI預先訓練好的一個或多個人機識別特征模型中，利用人機識別特征模型確定真人和機器人的識別概率與預設閾值預測概率；通過識別概率與預設閾值之間的大小關系，確定待識別數據來自于用戶或者是來自于機器人，進而確定操作智能電子設備的對象是用戶或者是機器人。

2.如權利要求1所述的非感知的MR眼鏡人機識別方法，其特征在于，所述第一步中的用戶行為數據包括眼球行為和軌跡數據、眼睛無意識生理反應數據、頭動數據、身體運動數據、手勢數據、6DOF控制器手柄數據；

所述眼球行為和軌跡數據為按照時間順序呈現的視覺注視點位置連線形成的軌跡圖以及在相應位置的注視時長；

所述眼睛無意識生理反應數據包括眨眼、瞳孔直徑變化、視覺深度數據；

所述頭動數據和身體運動數據為通過MR智能眼鏡設備中的加速度傳感器、陀螺儀傳感器、磁力計、IMU獲取的頭部和身體數據。

3.如權利要求1所述的非感知的MR眼鏡人機識別方法，其特征在于，所述第二步中的對原始數據進行預處理；來說，預處理包括數據等長填充和異常數據清洗，對于經過預處理后的數據執行特征提取處理。

4.如權利要求1所述的非感知的MR眼鏡人機識別方法，其特征在于，所述第三步中的MR眼鏡將提取到的特征數據加密后發送給人機識別服務器包括：MR眼鏡將提取到的特征數據通過獨有PKI加密技術進行加密，基于SSL協議將采集的用戶行為特征數據上傳至人機識別服務器。

5.如權利要求1所述的非感知的MR眼鏡人機識別方法，其特征在于，所述第四步中的人機識別服務器根據特征數據識別用戶當前應用場景并選擇相應的人機識別特征模型包括：

（1）眼睛注視點視覺軌跡模型利用包括目標在頁面的坐標、大小、色彩、文字的復雜程度、空格的注視目標信息、注視位置、注視持續時間、注視次數、首次注視區域、首次注視時長、眼跳次數、眼跳距離、瞳孔大小、眼球運動速度、瀏覽順序、注視軌跡及相關眼動指標作為特征數據進行訓練得到；

（2）

眼睛無意識行為模型利用眨眼、瞳孔直徑、眼顫、視覺深度及相關眼動指標作為特征數據進行模型訓練得到；

（3）

頭動數據包括：加速度傳感器、陀螺儀、磁力計、IMU信號數據。