[發明專利]特定場景手語視頻的翻譯模型訓練方法、翻譯方法及系統

在審

• 申請號: 202011288192.2
• 申請日: 2020-11-17
• 公開（公告）號: CN112307778A
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 梅雪;錢天成;高峻;陳玉明;秦午陽;戈康啟
• 申請（專利權）人: 南京工業大學
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇瑞途律師事務所 32346
• 代理人: 蔣海軍

1.一種特定場景手語視頻的翻譯模型訓練方法，其特征在于，手語視頻翻譯模型包括過濾網絡和深度序列自編碼網絡，首先通過構建的actor-double-critic深度強化學習訓練架構對過濾網絡進行訓練，再利用訓練好的過濾網絡篩選出手語視頻的關鍵幀序列集，最后基于深度學習對深度序列自編碼網絡進行訓練；

訓練時，訓練過濾網絡的方法為：

步驟1：視頻的第一幀默認被選擇，將視頻的后續幀序列按照每間隔p幀為一組，每一組叫作空間幀子集，所有分組形成動作空間幀集合，依次輸入空間幀子集作為動作空間，過濾網絡依次在每組空間幀子集里選擇一幀；

步驟2：將第一組空間幀子集進行灰度二值化，平展成一維向量進行拼接，將拼接后的向量作為e-狀態S_e；將已經選擇的幀輸入二維卷積神經網絡，生成幀序列特征向量，將幀序列特征向量作為i-狀態S_i；

步驟3：將e-狀態S_e和i-狀態S_i輸入過濾網絡，過濾網絡從動作空間輸出動作a，基于動作a選擇關鍵幀，關鍵幀加入已經選擇的幀序列中；

步驟4：將下一組空間幀子集進行灰度二值化，平展成一維向量進行拼接，將拼接后的向量作為新的e-狀態S_e′，同時得到e-獎勵R_e；將已經選擇的幀序列輸入二維卷積神經網絡，生成幀序列特征向量，將幀序列特征向量作為新的i-狀態S_i′，同時得到i-獎勵R_i；

步驟5：將e-狀態S_e、新的e-狀態S_e′、e-獎勵R_e輸入external critic網絡，得到價值函數Q_e(S_e)和Q_e(S_e′)，計算external critic網絡的TD誤差δ_e和損失函數loss_e，并利用損失函數loss_e作為external critic網絡參數的梯度更新；

步驟6：將i-狀態S_i、新的i-狀態S_i′、i-獎勵R_i輸入internal critic網絡，得到價值函數Q_i(S_i)和Q_i(S_i′)，計算internal critic網絡的TD誤差δ_i和損失函數loss_i，并利用損失函數loss_i作為internal critic網絡參數的梯度更新；

步驟7：計算TD誤差δ_e和δ_i之和δ，作為過濾網絡的損失函數，并根據該損失函數值更新過濾網絡的網絡參數；

步驟8：利用新的e-狀態S_e′和新的i-狀態S_i′分別作為下一次迭代的e-狀態S_e和i-狀態S_i，重復迭代到收斂，得到訓練好的過濾網絡。

2.根據權利要求1所述的特定場景手語視頻的翻譯模型訓練方法，其特征在于，步驟4中，計算e-獎勵R_e的方法為：

定義視覺獨特性指標VU，所述視覺獨特性指標包括變化性指標VU₁和差異性指標VU₂，所述變化性指標VU₁用于表示從動作空間幀子集中選出來的幀在整個動作空間幀子集中視覺變化程度；所述差異性指標VU₂用于表示選擇的關鍵幀之間的差異性程度，利用如下公式計算e-獎勵R_e：

式中，VU_1avg表示若干次隨機試驗得到的VU₁的動作平均值，VU_2avg表示若干次隨機試驗得到的VU₂的動作平均值。