[發明專利]一種基于深度圖像動態手語語義識別系統及方法

在審

• 申請號: 201910269214.1
• 申請日: 2019-04-04
• 公開（公告）號: CN109993130A
• 公開（公告）日: 2019-07-09
• 發明（設計）人: 劉禹欣;李文越;杜國銘;趙雪潔;寧可
• 申請（專利權）人: 哈爾濱拓博科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/06
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提出一種基于深度圖像動態手語語義識別系統及方法，所述系統及方法通過獲取操作者的深度圖像視頻信息，并對所述視頻信息進行處理，獲取手關節信息，通過關節信息分析出手語單詞，將各所述單詞輸入到語義分析模型中，判斷語義表達是否完整，在所述意圖表達完整時，將各所述完整語義直接輸出或轉化控制命令傳給其他控制單元，實現了將手語動作翻譯為文字，控制機械或操作系統，有助于聽障人士更好的融入社會生活。

技術領域

本發明屬于語義識別技術領域，特別是涉及一種基于深度圖像動態手語語義識別系統及方法。

背景技術

手語識別控制從原理上可分為基于雙目相機和基于深度圖像三維回歸，在手勢分析上只支持簡單手勢識別、簡單手語單詞。其中，基于雙目相機采用的是通過雙目相機同時拍攝物體來計算出物體特征點的深度信息的方式來進行圖像識別，從而分析出手勢信息?；谏疃葓D像三維回歸方案主要依賴于深度攝像機對手勢進行拍攝得到的圖像及拍攝場景內各點與深度攝像機之間的距離信息建立該手勢的三維模型。以三維模型為依據進行手勢判斷，在手勢分析上，具體采用標準手勢數據庫,與手勢動作進行匹配，選出與模型最為相近的手勢。

現有技術中對語音識別以及語音控制做了很多的研究，也給可以使用語音控制的人創造了許多的便利，但對于聾啞人士卻無法享受到這樣的便利。而通過簡單比劃的方式(例如繪畫、文字書寫、動作比劃)進行一些基礎的溝通，并不能完全的表達使用者的意圖，并且伴有一定的學習成本。所以，為了提高聽障人士對控制設備的便利性，同時也為了便于聾啞殘障人士與無手語基礎的人進行無障礙溝通，急需一種能夠理解手語語義的方法及系統。

發明內容

本發明目的是為了解決現有的技術問題，提出了一種基于深度圖像動態手語語義識別系統及方法。

本發明是通過以下技術方案實現的，本發明提出一種基于深度圖像動態手語語義識別系統，包括：

圖像捕獲模塊，用于捕獲操作者的深度圖像視頻數據并將每一幀深度圖像傳輸給圖像分析模塊；

圖像分析模塊，用于處理深度圖像視頻數據，得到手部關節3d坐標并輸出給手語分析模塊；

手語分析模塊，用于獲取足夠長度的手部關節3d坐標隊列，并提取子隊列進行分析，獲得子隊列可能表示的單詞，并將所述單詞傳遞給語義分析模塊；

語義分析模塊，用于獲得足夠表明一組完整的單詞，并通過語義語境分析，對獲取的單詞矯正，并組合成完整正確語義的語句或者命令，并通過輸出的語句或者命令進行控制操作。

進一步地，所述圖像分析模塊具體工作流程如下：

步驟21：接收圖像捕獲模塊傳輸過來的深度圖像視頻數據；

步驟22：進行人手部矩形框選坐標的識別；

步驟23：通過循環神經網絡進行基于時序信息的跟蹤；

步驟24：通過提取深度圖像框選區域為感興趣區域，并對框選區域深度圖像進行手部關節3d坐標提??；

步驟25：將提取的手部關節3d坐標輸入到手語分析模塊。

進一步地，所述步驟22具體為：

步驟221：通過圖像發現并提取手部信息；

步驟222：對視頻前后幀圖像時序信息進行手部跟蹤，根據檢測結果確定目標矩形框選區域；

步驟223：持續跟蹤手部，直到跟蹤的手部信息消失，并返回步驟221。

進一步地，所述對框選區域深度圖像進行手部關節3d坐標提取，具體為：

步驟241：接收框選后截取的深度圖像；