[發明專利]一種面向漸凍人設計的人機交互系統

在審

• 申請號: 202011172716.1
• 申請日: 2020-10-28
• 公開（公告）號: CN112256132A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 楊俊;徐昊明;王新龍;高凡承;王記陵;湯明喜;沈天一
• 申請（專利權）人: 南京工程學院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/04;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 徐燕

1.一種面向漸凍人設計的人機交互系統，其特征在于，包括人臉采集模塊、人眼定位模塊、眨眼識別模塊和交互模塊；

所述人臉采集模塊實時采集人臉圖片；

所述人眼定位模塊對人臉圖片進行分析，計算得到人眼關鍵點在圖片中的坐標位置；

所述眨眼識別模塊基于人眼關鍵點在圖片中的坐標位置判斷是否眨眼；

所述交互模塊實現基于眨眼動作完成人機交互。

2.根據權利要求1所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述人眼定位模塊對人臉圖片進行分析，計算得到人眼如下六個關鍵點在圖片中的坐標位置：

左側眼角關鍵點、右側眼角關鍵點、左側上眼瞼關鍵點、右側上眼瞼關鍵點、左側下眼瞼關鍵點以及右側下眼瞼關鍵點。

3.根據權利要求1所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述人眼定位模塊基于級聯深度神經網絡模型對人臉圖片進行分析；

所述級聯深度神經網絡的各階網絡的輸入均為整張圖片，先通過相似變化矩陣T_t對圖片進行矯正，將輸入圖片S_t-1變化得到S_t，變化公式如下：

S_t＝T_t^-1(T_tS_t-1+ΔS_t)

再使用H(X,Y)函數對變化好的圖片進行運算，得到關鍵點熱圖H(i)，計算公式如下：

同時計算輸入圖片的特征圖，先將圖片輸入全連接層，再使用線性整流函數作為激活函數，最后進行上采樣，得到特征圖fc；

ReLU函數的公式如下：

f(x)＝max(0,x)

其中,S_t-1為輸入圖片，T_t為相似變化矩陣，S_t為矯正完成的圖片，△S_t為S_t與S_t-1之間的偏移量，S_i為關鍵點坐標，X為全連接層的輸出值；

通過將特征圖fc、關鍵點熱圖H(i)和變換好的圖片輸入下一層網絡，經過多層迭代，最終得到人眼關鍵點檢測模型，能夠標記出人眼關鍵點。

4.根據權利要求1-3任一所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述眨眼識別模塊基于人眼關鍵點在圖片中的坐標位置計算人眼上下眼瞼之間距離與左右眼角之間距離的比值DR，用于判斷是否眨眼：

對于左側眼角關鍵點S1,右側眼角關鍵點S2,左側上眼瞼關鍵點S3、右側上眼瞼關鍵點S4、左側下眼瞼關鍵點S5、右側下眼瞼關鍵點S6，DR計算公式如下：

x、y分別指關鍵點橫、縱坐標值。

5.根據權利要求1所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述眨眼識別模塊中，測得一組睜眼時DR的數據，和一組閉眼時DR的數據，進行卡爾曼濾波，得到閉眼時穩定的DR值區間為，睜眼時穩定的DR值區間，根據閉眼時穩定的DR值區間和睜眼時穩定的DR值區間設定眨眼DR閾值；

當DR由高于眨眼DR閾值變為低于眨眼DR閾值時檢測為閉眼，再由低于眨眼DR閾值變為高于眨眼DR閾值時判斷為睜眼，整個過程為眨眼一次。

6.根據權利要求5所述的一種面向漸凍人設計的人機交互系統，其特征在于，進行卡爾曼濾波時的濾波公式如下：

其中，為當前DR的估計值，ɑ為卡爾曼增益，X_k為當前DR的測量值，為上次DR的估計值。

7.根據權利要求5或6所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述眨眼識別模塊中，還設定有效眨眼判斷時間閾值，為了區分是否為有意識地眨眼，每次檢測到由睜眼變為閉眼，便開始記錄DR低于眨眼DR閾值的連續時間時長，如果閉眼連續時間低于有效眨眼判斷時間閾值將判定為無意識地眨眼，大于有效眨眼判斷時間閾值則判定為一次有效地交互。

8.根據權利要求1所述的一種面向漸凍人設計的人機交互系統，其特征在于，所述交互模塊上均勻設置26個字母以及交流短語；

使用時，交互模塊界面會先循環選中每一行，檢測到眨眼后會循環選中該行的每個字符按鍵，當再次檢測到眨眼便認定為選中，字母便會出現在輸出框中，完成一次輸入，并且繼續開始循環，等待下一次交互。