[發明專利]一種基于深度學習的實時手語手勢識別系統

在審

• 申請號: 202210448144.8
• 申請日: 2022-04-27
• 公開（公告）號: CN114821783A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 徐軍;高輝
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/44;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開一種基于深度學習的實時手語手勢識別系統，目的是解決現有利用手部骨骼關節點識別手語手勢成本昂貴的問題；目前想獲取手部骨骼關節點的三維坐標，需要使用可穿戴式的設備或者使用深度攝像頭，使得實驗成本大大增加，所以本發明利用谷歌MediaPipe框架，只需要使用一個普通攝像頭來獲得手部的三維坐標點；再通過訓練好的深度神經網絡GoogLeNet模型，實現實時手語手勢識別；同時，本發明相較于傳統的圖像處理方式，速度更快，準確率更高，大大提高工作效率。

技術領域

本發明涉及人工智能領域，尤其涉及一種基于深度學習的實時手語手勢識別系統。

背景技術

據世界衛生組織的數據統計，全球患有聽力障礙的疾病的人數超過2.5億。對于普通人來說一般采用口語結合書面語的方式，適當配合身體姿勢和人的表情來進行交際，而聾啞人交流主要是使用手語語言。

手語是一種借助手勢來表達使用者意圖的肢體語言，其經過手部的形狀、位置、運動軌跡和方向來組合成為一個手語詞。雖然在日常生活中聾啞人可以使用手語來表達自己的看法，但其中也有諸多不便。比如，大多數普通人并不了解手語，無法與聾啞人進行溝通。因此，手語識別技術便成了聾啞人與世界溝通的一種方法。所謂的手語識別是通過計算機技術對聾啞人使用的手語進行語義分析，進而轉化為普通人能看懂或聽懂的文字或聲音的一種計算機技術。手語識別技術的研究不僅能夠對聾啞人的生活學習以及工作條件進行改善和提高，為他們提供更優質的服務。特別是在例如醫院，車站等一些公共場所，手語識別技術更加有著廣泛的應用，能夠幫助聾啞人更好的融入社會，享受生活。同時，手語識別技術也可以應用于雙語電視節目的播放、計算機輔助啞語教學、電影特效、虛擬人的研究、醫療研究、游戲娛樂、動畫的制作等諸多方面。

目前，本次是主要基于英語手語字母進行手語識別的研究，手語如用口語，有其獨立的語系。甚至在每個國家內部都有不同的手語用法，而且各國的風俗習慣大不相同，有時貿然使用手語，還會造成不必要的麻煩或危險。因此英語作為世界上使用最廣泛的語言，研究英語字母手語是有很大意義的。

發明內容

本發明的目的在于有效的利用MediaPipe框架的優勢，提供一種不借助其他任何復雜傳感器的設備，僅憑普通攝像頭對英文手語字母的26種手語手勢和3種功能手勢進行實時識別。該系統通過手部上各特征點到手腕點的空間距離組成一個多維數組，通過訓練好的神經網絡以及幀流結果穩定原則識別出手語手勢。

本發明的目的是這樣實現的：對每一種類手語手勢進行多角度拍照，將收集的圖像組成數據集，利用MediaPipe框架識別手部位置并提取圖像中的特征點，通過神經網絡的訓練實現對29種手語手勢進行識別，所述方法包括：

步驟一、利用MediaPipe框架獲取手語手勢各個特征點的三維坐標信息。

步驟二、根據手部的特征點的三維坐標信息計算各個關節點到手腕特征點的歐式距離。

步驟三、根據上述特征信息計算的歐氏距離組成的數列，代入卷積神經網絡模型GoogLeNet，使用三元組損失函數最終識別出待識別的手語手勢。

步驟四、取連續m幀識別的手語手勢相一致的作為最終確定的識別結果。

進一步地，所述步驟一具體為：通過pycharm集成編譯環境利用python語言調用MediaPipe框架識別手部位置，并獲得手部各個特征點。

進一步地，所述步驟二具體為：通過上一步驟得到了21個三維坐標點，拿出一個坐標點作為基本點，計算其它20個坐標點到這個點的距離，具體包括：由于手語手勢的識別屬于靜態手語識別，在MediaPipe框架下得到的手部特征點坐標中的0點偏向于手腕位置，手腕位置在手語手勢中位置特征信息可以忽略不計，所以基于此點建立三維坐標系，得到其余點到原點的空間距離，形成每一幅圖得到一組數據。