[發(fā)明專利]一種手語識別方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202010301154.X
• 申請日: 2020-04-16
• 公開（公告）號: CN111340005A
• 公開（公告）日: 2020-06-26
• 發(fā)明（設計）人: 馮偉;高麗清;劉國重;廖啟波
• 申請（專利權）人: 深圳市康鴻泰科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市智勝聯(lián)合知識產權代理有限公司 44368
• 代理人: 齊文劍

本發(fā)明實施例提供了一種手語識別方法和系統(tǒng)，通過分層長短期記憶網(wǎng)絡后，進行最大池化操作，獲得當前窗口的關鍵信息，網(wǎng)絡的長度從長到短進行逐步變化，有效地獲得手語視頻的時空特征，并從不同級別提取視頻的內在聯(lián)系，可以自動提取當前視頻中的關鍵手勢信息，在保證不降低網(wǎng)絡精度的前提下，壓縮網(wǎng)絡，提高計算速度，基于編碼器?解碼器結構和基于CTC損失函數(shù)的循環(huán)神經(jīng)網(wǎng)絡聯(lián)合訓練的手語識別模型，聯(lián)合優(yōu)化，訓練網(wǎng)絡，避免了輸出詞與輸出詞之間的獨立關系，更符合手語識別的應用場景。

技術領域

本發(fā)明涉及數(shù)據(jù)處理技術領域，特別是涉及一種手語識別方法和一種手語識別系統(tǒng)。

背景技術

手語是聾啞人士之間交流的主要工具，手語識別具有復雜性和多變性的特點，因此對于沒有系統(tǒng)學習過手語的人群，學習手語具有一定難度。為了促進聾啞人士與社會的有效交流，基于視覺的手語技術發(fā)明是至關重要的。根據(jù)手語視頻識別的特性，將手語識別分為兩種：孤立手語識別技術和連續(xù)手語識別技術。對于孤立手語識別，該視頻僅包含一個手語詞，因此這類問題可以看做分類問題。在連續(xù)手語識別中，一個視頻是對應一句話的，因此不能把它簡單地看成識別問題，這是連續(xù)的兩個序列之間的映射的過程，在識別任務上過程較為復雜。在評價指標上，也不能按照孤立手語識別中準確率來進行評價。

目前，已經(jīng)有很多學者致力于連續(xù)手語識別的研究中，并且形成了很多成熟的方法。這些方法整分為兩大部分：基于軟對齊的手語識別方法和基于硬對齊的手語識別方法。早期的基于硬對齊的手語識別方法主要使用隱馬爾可夫模型或者條件隨機場。這種需要人為事先對視頻的所有幀進行標注，該方法工作量特別繁重。

在實際使用中，手語視頻的長度是不固定的，有可能存在手語視頻幀比對應文本詞數(shù)多的情況，將較長的視頻編碼成為一個固定長度的特征向量并進行依次解碼，該特征向量不能很好地表示視頻的信息。

發(fā)明內容

鑒于上述問題，提出了本發(fā)明實施例以便提供一種克服上述問題或者至少部分地解決上述問題的一種手語識別方法和相應的一種手語識別系統(tǒng)。

為了解決上述問題，本發(fā)明實施例公開了一種手語識別方法，包括：

采集目標區(qū)域內的手語視頻，將所述手語視頻轉化成第一視頻幀；

通過預設卷積神經(jīng)網(wǎng)絡提取所述第一視頻幀中的特征幀；

將所述特征幀輸入到預設分層長短期記憶網(wǎng)絡，提取出有效幀；

將所述有效幀輸入到預設手語識別模型，輸出與所述手語視頻對齊的目標語句文本。

進一步地，采集目標區(qū)域內的手語視頻，將所述手語視頻轉化成第一視頻幀之后，包括：

按照預設目標對象裁切規(guī)則將所述第一視頻幀裁切為第二視頻幀。

進一步地，所述通過預設卷積神經(jīng)網(wǎng)絡提取所述第一視頻幀中的特征幀包括：

采用預設殘差網(wǎng)絡對所述第二視頻幀逐幀提取，得到所述特征幀。

進一步地，所述預設分層長短期記憶網(wǎng)絡設置為三層長短期記憶網(wǎng)絡，所述將所述特征幀輸入到預設分層長短期記憶網(wǎng)絡，提取出有效幀包括：

將所述特征幀輸入到第一層長短期記憶網(wǎng)絡，建立所述特征幀的時序關系，得到第一時序幀；

將所述第一時序幀輸入到第二層長短期記憶網(wǎng)絡，提取出第一預設滑動窗口中的關鍵幀；

將所述關鍵幀輸入到第三層長短期記憶網(wǎng)絡，提取出第二預設滑動窗口中的所述有效幀。

進一步地，所述將所述有效幀輸入到預設手語識別模型，輸出與所述手語視頻對齊的目標語句文本包括：