[發明專利]基于深度學習與大數據的手語識別與轉換系統及方法

有效

• 申請號: 202010283457.3
• 申請日: 2020-04-13
• 公開（公告）號: CN111582039B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 徐楓;周玉梟;楊東
• 申請（專利權）人: 清華大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/16;G06F3/01;G06F3/16
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 王艷斌

本發明公開了一種基于深度學習與大數據的手語識別與轉換系統及方法，該系統包括：圖像采集模塊、圖像識別模塊、信息匹配模塊、內容整理模塊、文字輸出模塊和語音輸出模塊；通過采集人體影像序列；提取人體影像序列的每一幀圖像中的面部關鍵點坐標和手部關鍵點坐標；在手語動作數據庫中搜索與面部關鍵點坐標和手部關鍵點坐標最匹配的自然語言語素，計算匹配值；根據相鄰語素間的重復情況與匹配值對自然語言語素進行過濾；將保留的自然語言語素轉換為文字并顯示在屏幕上；根據文字語言數據庫尋找與文字對應的語音，并進行播放。該系統能夠方便快捷地將手語圖像序列轉換成其他語言的文字與語音輸出，能夠更加容易地理解手語的含義，提高溝通效率。

技術領域

本發明涉及手語識別技術領域，特別涉及一種基于深度學習與大數據的手語識別與轉換系統及方法。

背景技術

我國存在著大量的聾啞人使用手語進行交流,對于不會手語的人來說，理解手語的意思是非常困難的，手語由手勢、手臂運動、面部表情組合而成，具有完備的表達能力。掌握手語的人之間可以高效地交流溝通，而不了解手語的人往往難以理解手語所表達的意思，這種情況阻礙了人與人之間的溝通與交流。

發明內容

本發明旨在至少在一定程度上解決相關技術中的技術問題之一。

為此，本發明的一個目的在于提出一種基于深度學習與大數據的手語識別與轉換系統，該系統能夠方便快捷地將手語圖像序列轉換成其他語言的文字與語音輸出，使得普通人能夠更加容易地理解手語的含義，提高溝通效率。

本發明的另一個目的在于提出一種基于深度學習與大數據的手語識別與轉換方法。

為達到上述目的，本發明一方面實施例提出了一種基于深度學習與大數據的手語識別與轉換系統，包括：圖像采集模塊、圖像識別模塊、信息匹配模塊、內容整理模塊、文字輸出模塊和語音輸出模塊；

所述圖像采集模塊與所述圖像識別模塊連接，用于采集人體影像序列，并將所述人體影像序列發送至所述圖像識別模塊；

所述圖像識別模塊與所述信息匹配模塊連接，用于提取所述人體影像序列的每一幀圖像中的面部關鍵點坐標和手部關鍵點坐標，并將所述面部關鍵點坐標和所述手部關鍵點坐標發送給所述信息匹配模塊；

所述信息匹配模塊與所述內容整理模塊連接，用于在手語動作數據庫中搜索與所述面部關鍵點坐標和所述手部關鍵點坐標最匹配的自然語言語素，計算匹配值，將所述自然語言語素與所述匹配值發送給所述內容整理模塊；

所述內容整理模塊與所述文字輸出模塊連接，用于根據相鄰語素間的重復情況與所述匹配值對所述自然語言語素進行過濾，將保留的自然語言語素發送給所述文字輸出模塊；

所述文字輸出模塊與所述語音輸出模塊連接，用于將保留的自然語言語素轉換為文字并顯示在屏幕上，將文字發送給所述語音輸出模塊；

所述語音輸出模塊用于根據文字語言數據庫尋找與文字對應的語音，并進行播放。

本發明實施例的基于深度學習與大數據的手語識別與轉換系統，通過圖像采集模塊不斷采集人體影像，并逐幀傳輸到圖像識別模塊，圖像識別模塊對于每一幀圖像提取面部與手部關鍵點坐標，將坐標傳輸給信息匹配模塊，信息匹配模塊在手語動作數據庫中搜尋與關鍵點坐標最匹配的自然語言語素，將語素與傳輸值傳輸給內容整理模塊，內容整理模塊根據相鄰語素之間的重復情況與匹配值過濾到無效的、重復的語素，將保留下來的信息發送給文字輸出模塊，文字輸出模塊將文字顯示在屏幕上，并將文字傳輸給語音輸出模塊，語音輸出模塊在文字語音數據庫中尋找文字對應的語音，并播放。由此，能夠方便快捷地將手語圖像序列轉換成其他語言的文字與語音輸出，使得普通人能夠更加容易地理解手語的含義，提高溝通效率。

另外，根據本發明上述實施例的基于深度學習與大數據的手語識別與轉換系統還可以具有以下附加的技術特征：