[發明專利]基于深度學習與大數據的手語識別與轉換系統及方法

有效

• 申請號: 202010283457.3
• 申請日: 2020-04-13
• 公開（公告）號: CN111582039B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 徐楓;周玉梟;楊東
• 申請（專利權）人: 清華大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/16;G06F3/01;G06F3/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

1.一種基于深度學習與大數據的手語識別與轉換系統，其特征在于，包括：圖像采集模塊、圖像識別模塊、信息匹配模塊、內容整理模塊、文字輸出模塊和語音輸出模塊；

所述圖像采集模塊與所述圖像識別模塊連接，用于采集人體影像序列，并將所述人體影像序列發送至所述圖像識別模塊；

所述圖像識別模塊與所述信息匹配模塊連接，用于提取所述人體影像序列的每一幀圖像中的面部關鍵點坐標和手部關鍵點坐標，并將所述面部關鍵點坐標和所述手部關鍵點坐標發送給所述信息匹配模塊；

所述信息匹配模塊與所述內容整理模塊連接，用于在手語動作數據庫中搜索與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的自然語言語素，計算匹配值，將所述自然語言語素與所述匹配值發送給所述內容整理模塊；

所述內容整理模塊與所述文字輸出模塊連接，用于根據相鄰語素間的重復情況與所述匹配值對所述自然語言語素進行過濾，將保留的自然語言語素發送給所述文字輸出模塊；

所述文字輸出模塊與所述語音輸出模塊連接，用于將保留的自然語言語素轉換為文字并顯示在屏幕上，將文字發送給所述語音輸出模塊；

所述語音輸出模塊用于根據文字語言數據庫尋找與文字對應的語音，并進行播放；

所述圖像識別模塊具體用于，利用人臉識別算法在所述人體影像序列中截取出人的面部區域，通過人臉特征點檢測方法，提取人的面部區域的所述面部關鍵點坐標；

利用人體運動檢測算法，提取所述人體影像序列中肘關節、腕關節和每個手指的指關節的三維坐標作為所述手部關鍵點坐標；

所述手語動作數據庫包含預先采集的、一一對應的手語動作與目標語言詞語；

所述信息匹配模塊具體用于，通過所述匹配值確定與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的手語動作，根據所述手語動作數據庫中的手語動作與目標語言詞語的對應關系，將最匹配的自然語言語素發送到所述內容整理模塊，其中，所述匹配值通過歐氏空間下對應特征點的坐標距離的平均值衡量，所述特征點平均距離與所述匹配值為負相關。

2.根據權利要求1所述的基于深度學習與大數據的手語識別與轉換系統，其特征在于，所述自然語言語素包括中文的詞語或漢字、英文的單詞。

3.根據權利要求1所述的基于深度學習與大數據的手語識別與轉換系統，其特征在于，根據不同標準的手語、不同的目標語言，更換所述信息匹配模塊中的手語動作數據庫。

4.根據權利要求1所述的基于深度學習與大數據的手語識別與轉換系統，其特征在于，所述內容整理模塊具體用于，根據所述自然語言語素與所述匹配值，將重復的自然語言語素和匹配值低于預設閾值的自然語言語素刪除，將保留的自然語言語素轉換為自然語言，并將所述自然語言發送給所述文字輸出模塊。

5.一種基于深度學習與大數據的手語識別與轉換方法，其特征在于，包括以下步驟：

采集人體影像序列；

提取所述人體影像序列的每一幀圖像中的面部關鍵點坐標和手部關鍵點坐標；

在手語動作數據庫中搜索與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的自然語言語素，計算匹配值；

根據相鄰語素間的重復情況與所述匹配值對所述自然語言語素進行過濾；

將保留的自然語言語素轉換為文字并顯示在屏幕上；

根據文字語言數據庫尋找與文字對應的語音，并進行播放；

所述提取所述人體影像序列的每一幀圖像中的面部關鍵點坐標和手部關鍵點坐標，具體包括：

利用人臉識別算法在所述人體影像序列中截取出人的面部區域，通過人臉特征點檢測方法，提取人的面部區域的所述面部關鍵點坐標；

利用人體運動檢測算法，提取所述人體影像序列中肘關節、腕關節和每個手指的指關節的三維坐標作為所述手部關鍵點坐標；

所述在手語動作數據庫中搜索與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的自然語言語素，計算匹配值，具體包括：

通過所述匹配值確定與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的手語動作，根據所述手語動作數據庫中的手語動作與目標語言詞語的對應關系，將最匹配的自然語言語素發送到內容整理模塊，其中，所述匹配值通過歐氏空間下對應特征點的坐標距離的平均值衡量，所述特征點平均距離與所述匹配值為負相關；

所述手語動作數據庫包含預先采集的、一一對應的手語動作與目標語言詞語。