[發明專利]頭面部動作檢測方法及應用該方法操控計算機的助殘系統

無效

• 申請號: 200910180642.3
• 申請日: 2009-10-27
• 公開（公告）號: CN101697199A
• 公開（公告）日: 2010-04-21
• 發明（設計）人: 孟繁榮;宋友;龔存晨;黃宇翔
• 申請（專利權）人: 北京盈科成章科技有限公司;孟繁榮;宋友;龔存晨;黃宇翔
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F3/01
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 周長琪

1.頭面部動作檢測方法，其特征在于所述的方法通過如下步驟實現：

步驟1：采集各種頭面部動作的圖片，包括正例圖片和反例圖片；

步驟2：采用adaboost算法對正例圖片和反例圖片進行訓練，歸納正例圖片中的共同 haar特征，并排除反例圖片中所存有的haar特征，得到存有頭面部動作特征 的分類器；分類器中用文本記錄了所訓練的頭面部動作的圖片中所含有的haar 特征和每個haar特征在頭面部動作的圖片中的坐標位置；

步驟3：采用多線程方法獲取圖像并對圖像進行預處理和頭面部動作檢測； 應用多線程方法創建兩個線程，即線程A和線程B，對圖像進行預處理和頭面 部動作檢測具體過程如下：

(1)線程B通過攝像頭實時捕獲圖像，并把這個圖像交給線程A處理；

(2)當線程A獲得一幀圖像后，對該幀圖像依次進行顏色空間轉換、圖像積 分、邊緣檢測處理，得到預處理后的圖像；

(3)以不同大小的窗口在圖像中移動搜索目標，用窗口所選中的圖片特征與分 類器中的特征相比較，由此判斷出圖像中是否存在希望出現的頭面部動作， 如果是就記錄下頭面部動作在圖像中的位置坐標與頭面部動作的大小信息， 如果不是就繼續移動搜索下一目標；

(4)重復步驟(1)～(3)，線程A繼續處理送來的下一幀圖像；

步驟4：根據上面步驟3得到的頭面部動作的大小與坐標位置信息，連續考察n幀頭面 部動作的信息，求出他們的平均位置與大小，以及檢測率，其中n為整數，n 取值為200～300；

如果當前頭面部動作的位置和大小與平均位置和大小相比較，二者的差值超過 差值閾值，則計算機會出現錯誤信息提示，此時不進行操作；如果小于或等于 差值閾值，則繼續判斷檢測率；所述的差值閾值取為20～30像素；

如果檢測率小于檢測率閾值，則無法使用目前的頭面部信息來實現操作；如果 檢測率大于檢測率閾值，則根據識別出的具體的頭面部動作信息對計算機進行 操控；所述的檢測率閾值取0.6～0.7；所述的頭面部動作包括15種相互獨立 的頭面部動作，分別為：抬頭、低頭、右偏頭、左偏頭、左移頭、右移頭、右 轉頭、左轉頭、閉右眼、閉雙眼、閉左眼、靠近、張嘴、閉嘴、遠離；

步驟5：通過對所得到的具體的頭面部動作信息數據進行分析，從而精確分辨出各個頭面 部動作：

(1)比較最近的10幀圖像眼睛的檢測率與眼睛的檢測率閾值的大小，檢測率小 于眼睛的檢測率閾值被判斷為閉眼動作，大于眼睛的檢測率閾值被判斷為睜眼；

(2)兩種方法判斷張嘴動作：a)嘴的檢測率小于嘴的檢測率閾值判斷為張嘴， b)連續3幀圖像在嘴的區域沒有檢測到嘴判斷為張嘴；

(3)嘴部坐標與臉部坐標的差值大于左偏頭的檢測率閾值判斷為左偏頭，小于 右偏頭的檢測率閾值判斷為右偏頭；

(4)連續識別m幀右側面臉判斷為左轉頭，連續識別m幀左側面臉判斷為右 轉頭；

(5)把步驟4所求的頭部坐標平均值作為中心位置，當前頭部坐標偏離中心位 置的垂直位移小于俯頭的檢測率閾值判斷為俯頭，大于仰頭的檢測率閾值判斷為 仰頭；

(6)把步驟4所求的頭部坐標平均值作為中心位置，當前頭部坐標偏離中心位 置的水平位移大于左移的檢測率閾值判斷為左移頭，小于右移的檢測率閾值判斷 為右移頭；

(7)當前臉部的大小與平均臉部的大小之差大于靠近的檢測率閾值識別為靠近， 小于遠離的檢測率閾值識別為遠離；

其中，眼睛的檢測率閾值為0.2～0.3，嘴的檢測率閾值為0.5～0.8，左偏頭的檢 測率閾值為4～6像素，右偏頭的檢測率閾值為-6～-4像素，m為正整數，取為5～ 7，俯頭的檢測率閾值為-5～-3像素，仰頭的檢測率閾值為3～5像素，左移的檢 測率閾值為4～8像素，右移的檢測率閾值為-8～-4像素，靠近的檢測率閾值為 10～20像素，遠離的檢測率閾值為-20～-10像素。

2.一種應用權利要求1所述的頭面部檢測方法進行計算機操控的助殘系統，其特征在于： 所述的助殘系統包括：攝像頭采集圖像模塊、圖像預處理及檢測模塊、頭面部動作數據分 析模塊、精確判斷模塊、動作到計算機命令映射模塊，其中動作到計算機命令映射模塊包 含有控制鼠標模塊、輔助閱覽模塊、坐姿監控模塊、鍵盤輸入模塊、頸部操游戲模塊、控 制賽車游戲模塊、控制家居模塊、自定義控制模塊；

所述的攝像頭采集圖像模塊是通過攝像頭實時捕獲一幀圖像，然后傳給圖像預處理及檢測 模塊；所述的圖像預處理及檢測模塊是用于預處理攝像頭采集圖像模塊所傳來的圖像，并 在圖像上進行頭面部動作檢測，最終得到頭面部動作的坐標位置與大小信息；所述頭面部 動作數據分析模塊是對圖像預處理及檢測模塊所得到的頭面部動作信息進行統計分析得 出頭面部動作的平均位置和平均大小及檢測率；所述的精確判斷模塊是用于精確判斷并區 分出15種相互獨立的頭面部動作；所述的動作到計算機命令模塊是通過在不同的動作下 調用不同的系統API，把頭面部動作映射成各種計算機命令；所述的控制鼠標模塊是把俯 仰頭、左右移動頭動作映射為鼠標的上下左右移動操作，左右轉頭動作映射為鼠標的左右 鍵點擊，點頭映射為鼠標的雙擊；所述的輔助閱覽模塊是把俯仰頭動作映射為各種電子文 檔、網頁等的上下翻頁；所述的坐姿監控模塊是把用戶靠近計算機的動作映射為警告提示， 提醒用戶離電腦太近；所述的鍵盤輸入模塊是把俯仰頭、左右轉頭和張嘴映射為不同的鍵 盤按鍵，實現用戶的快速輸入；所述的頸部操游戲模塊是把俯仰頭、左右轉頭映射為不同 的游戲控制命的游戲應用；所述的控制賽車游戲模塊是把左右移動頭部映射為賽車的左右 轉彎命令，俯仰頭映射為加減速命令的游戲應用；所述的家居控制模塊是通過與網絡家具 控制系統結合把頭面部動作映射為各種家具的控制命令，實現電視機、空調、窗簾、燈 的控制；所述的自定義控制模塊是用于用戶自己定義頭面部動作與各種操作的映射；

所述的15種相互獨立的頭面部動作分別為：抬頭、低頭、右偏頭、左偏頭、左移頭、右移 頭、右轉頭、左轉頭、閉右眼、閉雙眼、閉左眼、靠近、張嘴、閉嘴、遠離。