[發明專利]一種基于多層次語義解析的手語翻譯系統及方法

有效

• 申請號: 202010103960.6
• 申請日: 2020-02-20
• 公開（公告）號: CN111339782B
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 郭丹;唐申庚;劉祥龍;汪萌
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06V20/40;G06V40/20;G06V10/762;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于多層次語義解析的手語翻譯系統，其特征包括：特征提取模塊，精細層語義解析模塊，粗略層語義對齊模塊；

所述特征提取模塊，是采用深度學習的方法搭建并訓練基于2D卷積神經網絡的特征提取模型，并使用所述特征提取模型從數據庫的長時手語視頻中提取視頻幀特征；

所述精細層語義解析模塊，是對所述視頻幀特征中的多個特征進行串聯和學習，得到多個視素單元，并對所視素單元進行串聯和池化操作，獲得多個等長的視覺子動作；再通過聚類操作，將所述視覺子動作轉換成一連串的動作塊，并從所述動作塊中采樣出相同維度尺寸的動作塊特征；

所述粗略層語義對齊模塊，是采用深度學習的方法搭建并訓練基于循環神經網絡的序列轉換模型，用于對所述動作塊特征所構成的序列進行轉換，得到一連串解碼的單詞序列，并使用聯結主義時序分類模型對所述單詞序列進行翻譯，從而輸出完整的手語自然語句。

2.一種基于多層次語義解析的手語翻譯方法，其特征是按如下步驟進行：

步驟1、提取視頻幀特征：

采用深度學習的方法搭建并訓練基于2D卷積神經網絡的特征提取模型，并使用所述特征提取模型從數據庫的長時手語視頻中提取視頻幀特征其中，T表示所述長時手語視頻的總幀數，f_t代表第t幀的視頻幀特征；

步驟2、學習視素單元：

利用式(1)得到第n個的視素單元g_n，從而得到視素單元集合N表示視素單元的數量：

式(1)中，f_2n-1表示第2n-1幀的視頻幀特征，f_2n表示第2n幀的視頻幀特征，表示串聯操作，FC(·)表示使用全連接網絡進行計算；若視頻幀特征總數T為奇數，則第T幀的視頻幀特征；

步驟3、獲取視覺子動作：

利用式(2)得到視覺子動作集合S表示視覺子動作的數量，h_s代表第s個的視覺子動作：

式(2)中，表示串聯操作，MaxPool(·)表示最大化池化；

步驟4、聚合動作塊特征：

步驟4.1：在[0,1]范圍內隨機設定一個相關系數閾值λ；

步驟4.2：初始化s＝1；

步驟4.3：根據式(3)計算所述視覺子動作集合H中的第s個視覺子動作h_s與其相鄰視覺子動作h_s+1的相關系數Q_s：

式(3)中，hⁱ_s表示第s個視覺子動作h_s所表示的向量中第i個位置的值，hⁱ_s+1表示第s+1個視覺子動作h_s+1所表示的向量中第i個位置的值，I為視覺子動作所表示的向量的總長度；

步驟4.4：若Q_s≤λ，則將對應的相鄰視覺子動作h_s和h_s+1劃分為一類后，執行步驟4.5；否則，直接執行步驟4.5；

步驟4.5：將s+1賦值給s后，判斷s＞S是否成立，若成立，則表示獲得所述視覺子動作集合H中的所有相鄰的視覺子動作之間的相關系數和分類結果；否則，返回步驟4.3執行；

步驟4.6：將連續多個被劃分為一類的視覺子動作作為一個動作塊，進而得到動作塊序列其中，M表示動作塊的數量，k_m表示第m個動作塊；

步驟4.7：對第m個動作塊k_m進行固定維度的采樣并得到采樣后的動作塊特征k′_m，從而得到動作塊特征序列

步驟5、轉換單詞序列：

步驟5.1：采用深度學習的方法構建基于循環神經網絡的序列轉換模型RNN，將動作塊特征序列K′輸入序列轉換模型RNN，從而根據式(4)得到轉換后的動作塊特征序列K″：

式(4)中，RNN(·)表示序列轉換模型，k″_m表示轉換后的第m個動作塊特征；

步驟5.2：將轉換后的動作塊特征序列K″輸入全連接網絡FC(·)，從而根據式(3)計算概率得分矩陣P：

式(5)中，p_m表示轉換后的第m個動作塊特征k″_m對應的概率向量，根據概率向量p_m中最大值的位置得到第m個解碼單詞w_m，從而解碼出單詞序列

步驟6、翻譯手語句子：

將所述單詞序列W中連續重復出現的單詞進行合并，再刪除所有表示過渡動作的單詞，從而得到處理后的單詞序列并作為最終翻譯輸出的手語自然語句。