[發(fā)明專利]一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法

在審

• 申請?zhí)枺?/td>: 202010049231.7
• 申請日: 2020-01-16
• 公開（公告）號: CN111259802A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設計）人: 李晶皎;楊新銘;閆愛云;王愛俠
• 申請（專利權(quán)）人: 東北大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 徐華燊;李洪福

本發(fā)明提供一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，包括：圖像獲取，采用攝像機獲取癱瘓病人的頭部運動信息；人臉檢測，利用訓練好的人臉檢測網(wǎng)絡模型對采集的到的連續(xù)多幀圖像進行檢測，將面部區(qū)域按比例放大得到癱瘓病人頭部區(qū)域；利用深度卷積神經(jīng)網(wǎng)絡進行頭部姿態(tài)歐拉角估計，利用訓練好的頭部姿態(tài)估計網(wǎng)絡模型得到癱瘓病人頭部姿態(tài)歐拉角；建立歐拉角變化與虛擬輸入設備操作的映射關系；患者通過虛擬輸入設備，選擇顯示器上的相應需求選項，從而主動表達需求。本方法于通過檢測連續(xù)頭部姿態(tài)的表征來控制虛擬鍵盤或者鼠標，錯誤率低，使得表達的更為精準。

技術領域

本發(fā)明涉及計算機視覺表達技術領域，具體而言，尤其涉及一種基于頭部姿態(tài)估計的輔助失語癱瘓病人需求表達方法，可以為失語的癱瘓病人提供一種簡單方便的需求表達方式。

背景技術

癱瘓是一種世界范圍內(nèi)的常見疾病。根據(jù)Christopher與Dana Reeve基金會的一項研究顯示，在美國每50人就大約有1人患有一定程度的癱瘓。中國的人口基數(shù)巨大，癱瘓病人數(shù)量更多。根據(jù)2012年秦泗河等人發(fā)表的“1090例腦性癱瘓外科手術治療統(tǒng)計分析”中，語言表達能力低于正常者占53.2％,完全失語2.8％。可見癱瘓并且存在語言障礙的患者不在少數(shù)。

該類病人無法通過語言直接和周圍人類進行交流，病人無法正常使用常見電子設備(如計算機、智能手機等設備)。實現(xiàn)語言障礙的患者主動表達自己的需求具有重大的社會意義和市場應用價值，讓患者使用電子設備表達日常需求，進行緊急救援或者聯(lián)系家屬是非常有必要的。

傳統(tǒng)獲取癱瘓病人表達有多種，利用視覺是發(fā)展時間最長的方式，方法主要有兩種：第一種是利用肢體動作進行交互。例如，2007年Jia P等約定患者的某個動作與康復機械的一個動作的對應，當患者做出該動作時，康復機械做出約定的對應動作。該方法有局限性，不能適用于全身癱瘓的病人。第二種是利用眼動信息，例如2018年Meena等人，利用目光信息讓中風癱瘓的病人實現(xiàn)利用虛擬鍵盤打字操作。該方法誤操作率高，實際應用中會給患者操作困難。近年來，可通過腦電信號直接獲取的大腦區(qū)域電位變化，經(jīng)過分析后，識別患者真正意圖。但是該想法僅為理論準確率并不高，不能應用到實際。目前，讓失語癱瘓病人表達需求依然是一個困難的問題。

頭部姿態(tài)是人類重要的行為表達方式，是理解人類表達的重要因素。準確的頭部姿態(tài)估計有非常廣泛的應用前景。例如視線估計、行為分析和人機交互等研究。目前利用患者頭部姿態(tài)進行需求表達的研究工做很少。由于人臉圖像受到現(xiàn)實場景中的不同光照條件、表情變化、幾何變換等諸多因素的影響，從而導致姿態(tài)表征的不確定性，這使得圖像中頭部姿態(tài)估計成為一項具有挑戰(zhàn)性的工作。

頭部姿態(tài)估計是在三維空間上對頭部偏轉(zhuǎn)的精確度量，也就是頭部相對于某一坐標平面的偏轉(zhuǎn)角度的推斷過程。對頭部偏轉(zhuǎn)角度的一種度量方式是歐拉角。其定義為：如果將人的頭部視為一個剛體，則可以通過俯仰角(Pitch)、偏航角(Yaw)、滾動角(Roll)三個角度集合在一個固定的坐標系下描述剛體運動。成年人頭部偏轉(zhuǎn)范圍是有限的，統(tǒng)計意義上俯仰角范圍為(-60.4°～69.6°)，滾動角范圍為(-40.9°～36.3°)、偏航角范圍為(-79.8°～75.37°)。

頭部姿態(tài)估計算法可以分為傳統(tǒng)的頭部姿態(tài)估計算法和基于深度學習的頭部姿態(tài)估計算法。傳統(tǒng)頭部姿態(tài)的獲取方法主要有：基于表觀模板匹配、柔性模型方法、靈活模型方法、檢測器陣列方法、幾何方法、混合方法和基于深度RGB-D圖像的方法等。基于柔性模型的方法主要是通過構(gòu)建的頭部模型特征點的映射關系來估計頭部姿態(tài)。優(yōu)點主要有對姿態(tài)測量連續(xù)，該算法的準確率依賴于對人臉特征點的定位精度，雖然可以獲得連續(xù)的頭部姿態(tài)估計值，然而準確率易受到遮擋、光照變化及較大頭部偏轉(zhuǎn)姿態(tài)等干擾因素影響。基于外觀模型的方法主要是通過將未知姿態(tài)的圖片與一組已標記圖片數(shù)據(jù)集進行比較，通過測量未知姿態(tài)圖片與已標記圖片的相似性來確定所屬的姿態(tài)。此方法不用預測關鍵點，就可以預測頭部姿態(tài)。不使用插值方法，只能夠估計離散的姿態(tài)位置。