[發(fā)明專利]一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法

在審

• 申請?zhí)枺?/td>: 202010049231.7
• 申請日: 2020-01-16
• 公開（公告）號: CN111259802A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 李晶皎;楊新銘;閆愛云;王愛俠
• 申請（專利權）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 徐華燊;李洪福

1.一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，其特征在于，包括：

步驟1：圖像獲取，采用攝像機獲取癱瘓病人的頭部運動信息；

步驟2：人臉檢測，利用人臉檢測器檢測人臉面部區(qū)域，利用訓練好的人臉檢測網(wǎng)絡模型對采集的到的連續(xù)多幀圖像進行檢測，得到癱瘓病人面部區(qū)域，將所述面部區(qū)域按比例放大得到癱瘓病人頭部區(qū)域；

步驟3：利用深度卷積神經(jīng)網(wǎng)絡進行頭部姿態(tài)歐拉角估計，利用訓練好的頭部姿態(tài)估計網(wǎng)絡模型，以步驟2中獲取的頭部區(qū)域作為輸入，得到癱瘓病人頭部姿態(tài)歐拉角；

步驟4：建立歐拉角變化與虛擬輸入設備操作的映射關系；

步驟5：患者通過虛擬輸入設備，選擇顯示器上的相應需求選項，從而主動表達需求。

2.根據(jù)權利要求1所述的一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，其特征在于，所述虛擬輸入設備包括虛擬鍵盤或鼠標。

3.根據(jù)權利要求2所述的一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，其特征在于，建立歐拉角變化與虛擬鼠標操作的映射關系，包括：

利用歐拉角的其中兩個維度(Pitch，Row)對應虛擬鼠標在二維平面的運動，利用歐拉角的第三個維度(Yaw)對應虛擬鼠標左鍵按下以及左鍵松開；

設置三個角度變化的閾值，從初始角度達一個觸發(fā)閾值對應一個相應的操作。

4.根據(jù)權利要求2所述的一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，其特征在于，建立歐拉角變化與虛擬鍵盤操作的映射關系，包括：

利用歐拉角的其中兩個維度(Pitch，Row)對應虛擬鍵盤上、下、左、右四個按鍵，利用歐拉角的第三個維度(Yaw)對應虛擬鍵盤回車按鍵；

設置三個角度變化的閾值，從初始角度達一個觸發(fā)閾值對應一個相應的操作。

5.根據(jù)權利要求3或4所述的一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，其特征在于，建立歐拉角變化與虛擬輸入設備操作的映射關系，還包括：利用初始病人面部正對攝像機采集到的歐拉角，進行調(diào)0。

6.一種存儲介質(zhì)，其特征在于，所述存儲介質(zhì)包括存儲的程序，其中，所述程序運行時，執(zhí)行所述權利要求1至5中任一項權利要求所述的方法。

7.一種電子裝置，包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的計算機程序，其特征在于，所述處理器通過所述計算機程序運行執(zhí)行所述權利要求1至5中任一項權利要求所述的方法。