[發明專利]一種面向漸凍人設計的人機交互系統

在審

• 申請號: 202011172716.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112256132A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 楊俊;徐昊明;王新龍;高凡承;王記陵;湯明喜;沈天一
• 申請（專利權）人: 南京工程學院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

本發明公開了一種面向漸凍人設計的人機交互系統，包括人臉采集模塊、人眼定位模塊、眨眼識別模塊和交互模塊；所述人臉采集模塊實時采集人臉圖片；所述人眼定位模塊對人臉圖片進行分析，計算得到人眼關鍵點在圖片中的坐標位置；所述眨眼識別模塊基于人眼關鍵點在圖片中的坐標位置判斷是否眨眼；所述交互模塊實現基于眨眼動作完成人機交互。該為漸凍人設計的交互系統，不同于以往通過追蹤眼球來進行交互，而是通過眨眼與計算機交互，降低了交互難度，提升了系統的穩定性。

技術領域

本發明屬于人機交互技術領域，具體涉及一種面向漸凍人設計的人機交互系統。

背景技術

現有技術中，“漸凍癥”患者的護理系統主要通過追蹤患者的眼球位置，來與計算機完成交互。但由于眼球的面積和運動幅度較小，導致眼球追蹤的魯棒性和實時性較差；此外眼球追蹤無法判斷患者是否為有意識地運動眼球，易導致誤判。

同時，該方法要求患者的視線長期保持在屏幕的同一個位置，操作較為疲勞。

發明內容

本發明所要解決的技術問題是針對上述現有技術的不足，提供一種面向漸凍人設計的人機交互系統，患者不需要穿戴任何設備，只需要面對攝像頭，就可以通過眨眼實現與計算機的交互，并可以打字與外界交流。穩定性較高，不易誤判，并且可以辨別患者是否為有意識地眨眼，使用起來較為方便舒適。

為實現上述技術目的，本發明采取的技術方案為：

一種面向漸凍人設計的人機交互系統，包括人臉采集模塊、人眼定位模塊、眨眼識別模塊和交互模塊；

所述人臉采集模塊實時采集人臉圖片；

所述人眼定位模塊對人臉圖片進行分析，計算得到人眼關鍵點在圖片中的坐標位置；

所述眨眼識別模塊基于人眼關鍵點在圖片中的坐標位置判斷是否眨眼；

所述交互模塊實現基于眨眼動作完成人機交互。

為優化上述技術方案，采取的具體措施還包括：

上述的人眼定位模塊對人臉圖片進行分析，計算得到人眼如下六個關鍵點在圖片中的坐標位置：

左側眼角關鍵點、右側眼角關鍵點、左側上眼瞼關鍵點、右側上眼瞼關鍵點、左側下眼瞼關鍵點以及右側下眼瞼關鍵點。

上述的人眼定位模塊基于級聯深度神經網絡模型對人臉圖片進行分析；

所述級聯深度神經網絡的各階網絡的輸入均為整張圖片，先通過相似變化矩陣T_t對圖片進行矯正，將輸入圖片S_t-1變化得到S_t，變化公式如下：

再使用H(X,Y)函數對變化好的圖片進行運算，得到關鍵點熱圖H(i)，計算公式如下：

同時計算輸入圖片的特征圖，先將圖片輸入全連接層，再使用線性整流函數作為激活函數，最后進行上采樣，得到特征圖fc；

ReLU函數的公式如下：

f(x)＝max(0,x)

其中，S_t-1為輸入圖片，T_t為相似變化矩陣，S_t為矯正完成的圖片，△S_t為S_t與S_t-1之間的偏移量，S_i為關鍵點坐標，X為全連接層的輸出值；

通過將特征圖fc、關鍵點熱圖H(i)和變換好的圖片輸入下一層網絡，經過多層迭代，最終得到人眼關鍵點檢測模型，能夠標記出人眼關鍵點。