[發明專利]基于手勢識別與面部表情檢測的智能交流輔助系統及方法

在審

• 申請號: 202110360368.9
• 申請日: 2021-04-02
• 公開（公告）號: CN113052111A
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 王立軍;蔣林;李爭平
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N20/00
• 代理公司: 鹽城亭遠專利代理事務所(普通合伙) 32486
• 代理人: 郭超

1.基于手勢識別與面部表情檢測的智能交流輔助系統，其特征在于：包括圖像采集模塊、圖像處理模塊、生理信息監測系統、機器學習模塊、信息輸出模塊、語音系統；

所述圖像采集模塊采用OpenCV對圖像采集設備獲取的圖像進行讀取；

所述圖像處理模塊對圖像采集模塊獲得的圖像進行處理；

所述生理信息監測系統包括手語信息處理模塊以及面部表情信息處理模塊；所述手語信息處理模塊用于手語信息采集以及特征提取，所述面部表情處理模塊用于面部表情信息采集以及特征提取；

所述機器學習模塊用于將生理信息監測系統提取到的手語信息與手勢信息進行比對、匹配，并將生理信息監測系統提取到的表情信息與數據庫中信息進行比對、匹配；

所述信息輸出模塊用于接收機器學習模塊匹配出的手勢、嘴部、眼部信息，進行最后的信息整合并檢查信息；

所述語音系統信息用于接收輸出模塊勘查無誤后的信息，將被識別的信息轉換為語音。

2.根據權利要求1所述的基于手勢識別與面部表情檢測的智能交流輔助系統，其特征在于：所述圖像處理模塊具體實現如下功能：

利用OpenCV將RGB圖像的輸入序列轉換為灰度圖像；進行工作背景分割，將一幅圖像中的手部物體從其背景中分離出來；進行噪聲去除，對于像素小于P的圖像，去除圖像中的連通成分或不顯著的污跡，其中P為變量值。

3.根據權利要求1所述的基于手勢識別與面部表情檢測的智能交流輔助系統，其特征在于：所述機器學習模塊進行比對、匹配時以手勢信息為第一參考依據，嘴部信息為第二參考依據，眼部信息為第三參考依據。

4.根據權利要求1所述的基于手勢識別與面部表情檢測的智能交流輔助系統，其特征在于：所述機器學習模塊與生理信息監測系統以及信息輸出系統有相關反饋，進行信息篩選以及校對。

5.根據權利要求4所述的基于手勢識別與面部表情檢測的智能交流輔助系統，其特征在于：所述機器學習模塊與生理信息監測系統以及信息輸出系統之間的反饋包括：

生理信息監測系統與機器學習模塊存在反饋，機器學習模塊將篩選采集的信息，提取特點后反饋給采集模塊，去除不需要的信息點；

信息輸出模塊與機器學習模塊存在反饋，當信息輸出模塊發現最終信息存在沖突時，則將信息輸入回給機器學習模塊進行再一次的對比匹配。

6.基于手勢識別與面部表情檢測的智能交流輔助方法，其特征在于：包括如下步驟：

步驟一，采用OpenCV對圖像采集設備獲取的圖像進行讀??；

步驟二，對圖像采集模塊獲得的圖像進行處理，利用OpenCV將RGB圖像的輸入序列轉換為灰度圖像；進行工作背景分割，將一幅圖像中的手部物體從其背景中分離出來；進行噪聲去除，對于像素小于P的圖像，去除圖像中的連通成分或不顯著的污跡，其中P為變量值；

步驟三，針對步驟二處理后的圖像，進行手語信息采集以及特征提取，及逆行面部表情信息采集以及特征提?。?/p>

步驟四，通過機器學習方式將步驟三提取到的手語信息與手勢信息進行比對、匹配，將步驟三提取到的表情信息與數據庫中信息進行比對、匹配；

步驟五，接收步驟四匹配出的手勢、嘴部、眼部信息，進行最后的信息整合并檢查信息；

步驟六，接收步驟五勘查無誤后的信息，將被識別的信息轉換為語音。

7.根據權利要求6所述的基于手勢識別與面部表情檢測的智能交流輔助方法，其特征在于：所述步驟四進行比對、匹配時以手勢信息為第一參考依據，嘴部信息為第二參考依據，眼部信息為第三參考依據。