[發明專利]一種紐扣式人機交互裝置及方法

在審

• 申請號: 202110499397.3
• 申請日: 2021-05-08
• 公開（公告）號: CN113312984A
• 公開（公告）日: 2021-08-27
• 發明（設計）人: 謝艷梅;牛彤;楊飛;左龍;葛晨陽
• 申請（專利權）人: 寧波盈芯信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N20/00
• 代理公司: 北京前審知識產權代理有限公司 11760
• 代理人: 張波濤;尹秀峰

一種紐扣式人機交互裝置及方法，該方法包括如下步驟：圖像采集模塊采集紅外圖像；圖像處理模塊對采集到的紅外圖像按照按鍵控制模塊發送的命令進行相應的處理，得到人臉、表情、手勢的特征數據；將所述特征數據和與之對應的id存儲在SPI Flash數據存儲模塊中；交互執行模塊實時采集紅外圖像，經所述圖像處理模塊提取特征數據后與所述SPI Flash數據存儲模塊中存儲的特征數據進行比對，比對成功則對人機交互終端設備執行相應的動作。該紐扣式人機交互裝置不僅具有體積小、功耗低、使用便捷的優勢，還通過多類異構特征的提取與識別，大幅增強了裝置使用的安全性。

技術領域

本公開屬于圖像處理、計算機視覺、人機交互和人工智能技術領域，特別涉及一種紐扣式人機交互裝置及方法。

背景技術

在人工智能高速發展的時代，計算機、手機以及更多嵌入式系統如家電設備、可穿戴設備、機器人等越來越多的出現在人們的生活、工作中，它們的出現使研究人機之間的信息交換具有重要意義。自然和諧的人機交互方式是人類對操控機器的理想目標，使機器能讀懂人在自然狀態所傳遞的命令。在從人逐漸適應計算機到計算機不斷適應人的互相作用的過程中，人機交互不再局限于手柄操作、鍵盤輸入等外設操作的方法，而是以更加新穎便捷的方式出現，比如手指的微小動作、眼珠的轉動、表情的變化、手勢的變化等，為用戶帶來了全新的操控方式和人機交互體驗。這種新型交互方式的出現，使他們的應用范圍也越來越廣泛，涵蓋了智能家居、游戲娛樂、無人零售等應用領域。

微軟Kinect是目前人機交互設備的代表，采用紅外結構光的主動視覺模式，通過語音、手勢等交互方式，可以很好的操作Kinect的體感游戲，Kinect體感游戲在Xbox 360上也獲得非常好的評價。Kinect雖然有很多優勢，但是它的缺點也不容忽視，比如價格昂貴，尺寸太大，而且需要很多的外接線，這些問題影響了用戶體驗，限制了它的應用范圍。

發明內容

為了解決上述問題，本公開提供了一種紐扣式人機交互裝置，包括圖像采集模塊、圖像處理模塊、SPI Flash數據存儲模塊、按鍵控制模塊和交互執行模塊；其中，

所述圖像采集模塊包括紅外攝像頭和泛光燈，用于采集紅外圖像；

所述圖像處理模塊包括NPU和驅動程序，用于對采集到的紅外圖像進行處理，得到人臉、表情、手勢的特征數據；

所述SPI Flash數據存儲預先模塊用于存儲所述特征數據和與之對應的id；

所述按鍵控制模塊通過按鍵給圖像處理模塊發送命令，實現人臉、表情及手勢特征的錄入、刪除和識別；

所述交互執行模塊包括人機交互終端設備，用于實時采集紅外圖像，經所述圖像處理模塊提取特征數據后與所述SPI Flash數據存儲模塊中存儲的特征數據進行比對，比對成功則對人機交互終端設備執行相應的動作。

本公開還提供了一種紐扣式人機交互方法，包括如下步驟：

對采集到的紅外圖像按照按鍵控制模塊發送的命令進行相應的處理，得到人臉、表情、手勢的特征數據；

將所述特征數據和與之對應的id預先存儲在SPI Flash數據存儲模塊中；

提取實時采集紅外圖像的特征數據后與所述SPI Flash數據存儲模塊中存儲的特征數據進行比對，比對成功則對人機交互終端設備執行相應的動作。

上述方案中圖像采集模塊采集紅外圖，圖像處理模塊通過多個深度學習網絡檢測識別出人臉、表情及手勢，提取各自的深度網絡特征，并分別與SPI Flash數據存儲模塊預先存儲的人臉、表情及手勢特征進行比對，如三種特征都比對成功，則認為本次識別成功，并由交互模塊執行動作。按鍵控制模塊用于人臉、表情及手勢特征的錄入、刪除等操作。紐扣式人機交互裝置不僅具有體積小、功耗低、使用便捷的優勢，還通過多類異構特征的提取與識別，大幅增強了裝置使用的安全性。

附圖說明