[發明專利]一種語句級手語識別方法、系統、設備及終端

在審

• 申請號: 202110990063.6
• 申請日: 2021-08-26
• 公開（公告）號: CN113902066A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 孟憲佳;楊永;馮琳;單士璽
• 申請（專利權）人: 西北大學
• 主分類號: G06K17/00
• 分類號: G06K17/00;G06V10/764;G06V10/774;G06V10/30;G09B21/00
• 代理公司: 西安長和專利代理有限公司 61227
• 代理人: 黃偉洪

本發明屬于動作識別技術領域，公開了一種語句級手語識別方法、系統、設備及終端，所述語句級手語識別方法包括：原始手語數據信號的采集；手語數據預處理；分割有效手語活動部分數據；有效特征提取；利用隨機森林分類器進行數據訓練，實現手語識別。本發明的手語識別方法采取去了有效的特征提取方法，即在原有的十個特征基礎之上新增了新的特征，能夠反映數據波動的溫和程度，所以本發明能夠有效的提取語句級的手語信號特征。本發明采用了隨機森林分類器，其中使用了50個決策樹，使用經過多次實驗確定的此分類器也對手語識別的準確率有好的提升效果。本發明的手語識別方法的魯棒性非常好，因此能夠很好的適用與應用場景，具有一定的普適性。

技術領域

本發明屬于動作識別技術領域，尤其涉及一種語句級手語識別方法、系統、設備及終端。

背景技術

目前，盡管口語是當今世界的主流，不可否認，手語對本發明仍然很重要。尤其是在人工智能時代，它的應用范圍很廣，如智能家居、陳列室、等等。手語不僅方便聾啞人士更快地融入智能生活，也方便了本發明與聾啞人士交流。例如，在歷史博物館，當聾啞人士需要幫助時，工作人員由于不了解手語不能和他們交流。如果博物館有一個機器人(或其他交互設備)，它能夠識別聾啞人士的手語并做出反應，它們就可以為其提供幫助和服務。

近年來，關于手語識別的研究主要基于三個類別：基于計算機視覺，基于可穿戴傳感器，基于無線信號。大多數研究只關注孤立的單詞識別，然而很難在日常生活交流中使用，其中很少可以翻譯語句級手語。

現有的基于計算機視覺的手語識別系統，使用紅外光作為感知機制在語句層面翻譯手語。盡管它們的精確度很高，但隱私是一個大問題，尤其是在私人領域環境。基于可穿戴傳感器的系統具有侵入性，而且需要用戶穿戴昂貴的設備，一定程度上限制了用戶的自由。雖然基于無線信號(例如WIFI)的無線網絡不侵犯人類隱私，也不需要佩戴任何設備，但無線網絡的部署不方便，容易受到干擾，因此不是一個好的選擇。而基于RFID技術的手語識別系統技術成本低，其標簽也易于部署。RFID(Radio Frequency Identification)技術，指的是無限射頻識別技術。

現有技術很難劃分連續的手語并將其翻譯成單詞。此外，還有單詞和從語句中分離出的單詞級單詞之間差異，例如，“你”這個詞和在兩句話中的“你”一詞(“你”是主語和對象)完全不同。實現手語的自動分割也是一個難題，以前關于手語的相關研究通常手動提取手語，顯然，這是一個巨大的工作量。

綜上，現有的手語識別系統普遍存在以下不足：1)不能實現語句級的手語識別；2)設備不廉價。因此，亟需一種新的語句級手語識別方法及系統，以彌補現有技術存在的缺陷。

通過上述分析，現有技術存在的問題及缺陷為：

(1)現有的關于手語識別的研究大多數研究只關注孤立的單詞識別，然而很難在日常生活交流中使用，其中很少可以翻譯語句級手語。

(2)現有的基于計算機視覺的手語識別系統在私人領域環境中隱私保護力度不夠；同時基于可穿戴傳感器的系統具有侵入性，而且需要用戶穿戴昂貴的設備，一定程度上限制了用戶的自由。

(3)現有基于無線信號的無線網絡部署不方便，容易受到干擾，不是好的選擇；現有技術很難劃分連續的手語并將其翻譯成單詞，實現手語的自動分割也是一個難題，工作量巨大，且設備不廉價。

解決以上問題及缺陷的難度為：

(1)由于信號的連續性及噪音的干擾，提取有效的手語信號成為了一個顯著的挑戰，這需要設計合理有效的去噪方法和信號處理方法來實現有效手語數據信號的分割.

(2)同時，采用射頻識別技術能夠有效的做到隱私保護，而且使用戶擺脫了穿戴設備，但是確定有效的手語信號接受范圍是一個問題，這需要大量的基于不同范圍的實驗以及在不同場景下的實驗以確定合理的手語信號接受范圍；