[發明專利]一種手語識別和翻譯方法

有效

• 申請號: 202011356115.6
• 申請日: 2020-11-26
• 公開（公告）號: CN112487951B
• 公開（公告）日: 2022-05-27
• 發明（設計）人: 尹啟坊;李凌;劉云云;辜嘉
• 申請（專利權）人: 深圳市熱麗泰和生命科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/10;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F40/58
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種手語識別和翻譯方法，其特征在于，包括特征提取模塊、序列學習模塊、損失優化模塊和解碼模塊，所述特征提取模塊主要負責先后提取每個視頻幀的靜態特征和相鄰幀的連續特征，其中提取到的靜態特征主要是人體上肢手語相關的8個關鍵點特征和以手部動作為主、臉部表情為輔的全幀特征，提取到的連續特征主要是若干幀之間的手語詞連續性信息，所述序列學習模塊主要包含了兩層BLSTM網絡，該模塊負責學習特征序列的連續性信息，所述損失優化模塊包含關鍵點損失和CTC損失，所述關鍵點損失函數采用距離回歸函數smooth-L1，所述解碼模塊采用beam search解碼器，采用prefix beam decoder算法；

手語識別和翻譯方法包括以下步驟：

步驟1，用戶打開軟件，用手機攝像頭對準手語者，軟件界面有人形框收集便于用戶對準手語者；

步驟2，攝入錄像后，程序對錄像采樣，并截取為固定大小的圖像；

步驟3，然后將圖像送入特征提取模塊中提取特征，這一步輸出一個特征序列；

步驟4，將特征序列輸入序列學習模塊中學習時間維度的序列特征；

步驟5，將學習到的特征序列輸入到解碼模塊中，得到翻譯的句子，將句子輸出到軟件的語句框中。

2.根據權利要求1所述的一種手語識別和翻譯方法，其特征在于，所述特征提取模塊包括骨干網絡，所述骨干網絡選擇resnet18，resnet18檢測的輸入采用的是第三層基本網絡層的輸出特征圖，在關鍵點檢測部分，采用兩層反卷積將特征圖上采樣后，加入卷積核大小為1*1的二維卷積，來將特征圖的維度降為8，并用Soft-Argmax算法提取出8個關鍵點：兩個手腕、兩個肘部、兩個肩部、額頭和脖子，8個關鍵點構成一個向量，然后使用全連接層將特征向量擴維，與骨干網絡的向量連接。

3.根據權利要求1所述的一種手語識別和翻譯方法，其特征在于，所述序列學習模塊采用了兩層的BLSTM網絡來學習手語視頻的時序特征，時序特征為手語的動態手勢。

4.根據權利要求1所述的一種手語識別和翻譯方法，其特征在于，所述解碼和損失優化模塊中，采用CTC分類器作為優化損失函數，采用smooth-L1函數作為關鍵點匹配損失函數，所述優化損失函數和關鍵點匹配損失函數相加作為最終的損失函數。

5.根據權利要求1所述的一種手語識別和翻譯方法，其特征在于，所述序列學習模塊采用prefix-beam-search算法對序列學習模塊的輸出序列進行解碼，得到預測的翻譯句子，并在軟件界面的語句框中實時展現。