[發明專利]基于手勢識別與面部表情檢測的智能交流輔助系統及方法

在審

• 申請號: 202110360368.9
• 申請日: 2021-04-02
• 公開（公告）號: CN113052111A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王立軍;蔣林;李爭平
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N20/00
• 代理公司: 鹽城亭遠專利代理事務所(普通合伙) 32486
• 代理人: 郭超

本發明公開了基于手勢識別與面部表情檢測的智能交流輔助系統及其實現方法，其中系統包括圖像采集模塊、圖像處理模塊、生理信息監測系統、機器學習模塊、信息輸出模塊、語音系統。本發明建立了一個具有手勢理解和動作捕捉功能的，能夠將手勢轉換為聲音的系統，將有助于聾啞人與他人之間的交流。本發明相較于傳統交流系統，增加面部識別功能，將面部表情識別加入到信息識別模塊中，提高了系統正確率。

技術領域

本發明屬于人機交互技術領域，涉及手勢識別、面部識別、機器學習技術，具體地說，基于手勢識別與面部表情檢測的智能交流輔助系統及其實現方法。

背景技術

我國約有2000多萬聾啞人。為了便于交流，手語進入了社會。它是聾啞人常用的一種非言語交際方法。然而，手語存在問題是，沒有經過學習的人無法理解這種語言。這就在普通人和聾啞人之間造成了交流障礙。現如今，許多用于聾啞人交流的系統被發明出來，然而有一點卻被大家忽視。聾啞人在交流時，不僅會使用到手語，他的面部表情與他所表達的內容是息息相關的。

現有的聾啞人智能交流系統通常分為兩種，一種是基于智能手套實現，另一種是基于可穿戴在手臂上的智能手環實現。這些傳統的系統都有一個問題，那就是他們僅僅提取了手部的相關信息，忽視了面部信息。在不同用戶之間，手勢可能存在相關差異，這就降低了系統的正確率。

發明內容

為解決上述問題，本發明公開了基于手勢識別與面部表情檢測的智能交流輔助系統及其實現方法，建立了一個具有手勢理解和動作捕捉功能的，能夠將手勢轉換為聲音的系統，將有助于聾啞人與他人之間的交流。

為了達到上述目的，本發明提供如下技術方案：

基于手勢識別與面部表情檢測的智能交流輔助系統，包括圖像采集模塊、圖像處理模塊、生理信息監測系統、機器學習模塊、信息輸出模塊、語音系統；

所述圖像采集模塊采用OpenCV對圖像采集設備獲取的圖像進行讀取；

所述圖像處理模塊對圖像采集模塊獲得的圖像進行處理；

所述生理信息監測系統包括手語信息處理模塊以及面部表情信息處理模塊；所述手語信息處理模塊用于手語信息采集以及特征提取，所述面部表情處理模塊用于面部表情信息采集以及特征提取；

所述機器學習模塊用于將生理信息監測系統提取到的手語信息與手勢信息進行比對、匹配，并將生理信息監測系統提取到的表情信息與數據庫中信息進行比對、匹配；

所述信息輸出模塊用于接收機器學習模塊匹配出的手勢、嘴部、眼部信息，進行最后的信息整合并檢查信息；

所述語音系統信息用于接收輸出模塊勘查無誤后的信息，將被識別的信息轉換為語音。

進一步的，所述圖像處理模塊具體實現如下功能：

利用OpenCV將RGB圖像的輸入序列轉換為灰度圖像；進行工作背景分割，將一幅圖像中的手部物體從其背景中分離出來；進行噪聲去除，對于像素小于P的圖像，去除圖像中的連通成分或不顯著的污跡，其中P為變量值。

進一步的，所述機器學習模塊進行比對、匹配時以手勢信息為第一參考依據，嘴部信息為第二參考依據，眼部信息為第三參考依據。

進一步的，所述機器學習模塊與生理信息監測系統以及信息輸出系統有相關反饋，進行信息篩選以及校對。

進一步的，所述機器學習模塊與生理信息監測系統以及信息輸出系統之間的反饋包括：

生理信息監測系統與機器學習模塊存在反饋，機器學習模塊將篩選采集的信息，提取特點后反饋給采集模塊，去除不需要的信息點；

信息輸出模塊與機器學習模塊存在反饋，當信息輸出模塊發現最終信息存在沖突時，則將信息輸入回給機器學習模塊進行再一次的對比匹配。