[發(fā)明專利]一種基于場景識別的中文手語翻譯方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011567901.0
• 申請日: 2020-12-25
• 公開（公告）號: CN112668463B
• 公開（公告）日: 2022-12-02
• 發(fā)明（設計）人: 陳斌;牟中強
• 申請（專利權）人: 株洲手之聲信息科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/764;G06V10/75;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 周長清;胡君

1.一種基于場景識別的中文手語翻譯方法，其特征在于，步驟包括：

S1.模型構建：構建不同場景類型下手語動作與單詞之間映射關系的手語單詞識別模型，以及構建不同場景類型與手語動作之間映射關系的場景識別模型，將所述手語單詞識別模型與所述場景識別模型進行級聯(lián)，形成手語翻譯模型；

S2.模型訓練：使用手語動作訓練集對所述手語翻譯模型、場景識別模型進行訓練，訓練至直接由所述手語單詞識別模型得到的手語單詞識別結果與根據(jù)所述場景識別結果得到的手語單詞識別結果一致，以使得所述場景識別模型與所述手語單詞識別模型達到動態(tài)平衡，得到訓練后的手語翻譯模型，其中使用手語動作訓練集對所述手語翻譯模型、場景識別模型進行訓練時，將當前手語動作數(shù)據(jù)輸入至所述手語單詞識別模型中，得到第一手語單詞識別結果，以及將當前手語動作數(shù)據(jù)輸入至所述場景識別模型中，得到場景識別結果，并將所述場景識別結果輸入至所述手語單詞識別模型中，所述手語單詞識別模型按照所述場景識別結果對當前手語動作數(shù)據(jù)重新進行識別，得到第二手語單詞識別結果；

S3.數(shù)據(jù)采集：采集待翻譯的手語動作視頻并提取出手語動作數(shù)據(jù)；

S4.手語翻譯：將步驟S3提取出的所述手語動作數(shù)據(jù)輸入至訓練后的所述手語翻譯模型的場景識別模型中，識別出當前的場景類型；根據(jù)識別出的場景類型，使用訓練后的所述手語翻譯模型中所述手語單詞識別模型對當前手語動作數(shù)據(jù)進行識別，得到手語單詞的翻譯結果輸出。

2.根據(jù)權利要求1所述的基于場景識別的中文手語翻譯方法，其特征在于，所述步驟S1中，基于深度樹型匹配模型構建所述場景識別模型，包括兩層以上的節(jié)點，其中第一層layer 1中各節(jié)點為手語動作幀，第二層layer2至第N層layer N中各節(jié)點為手語場景詞匯，所述layer N表示對應層中的場景詞匯節(jié)點由N個手語動作幀節(jié)點映射得到；所述場景識別模型經(jīng)過訓練后得到手語動作幀節(jié)點到手語場景詞匯節(jié)點的映射概率。

3.根據(jù)權利要求2所述的基于場景識別的中文手語翻譯方法，其特征在于，所述基于深度樹型匹配模型構建所述場景識別模型的步驟包括：將所述手語動作訓練集中手語動作幀數(shù)據(jù)輸入至深度樹型匹配模型中，并作為所述深度樹型匹配模型中所述第一層layer 1的各節(jié)點輸入；建立N個從第一層layer中節(jié)點到第N層layer N中1個節(jié)點的映射關系，使用映射概率高低表示映射關系的緊密程度，其中當輸入手語動作幀數(shù)據(jù)中對應的場景節(jié)點在同一層時，取映射概率最高的場景節(jié)點為場景詞匯的輸出節(jié)點；當輸入手語動作幀數(shù)據(jù)中對應的場景節(jié)點處于不同層時，取映射概率最高的場景節(jié)點為場景詞匯的輸出節(jié)點；當輸入手語動作幀數(shù)據(jù)中對應的不同層的場景節(jié)點概率相同時，優(yōu)先選擇層數(shù)高的場景節(jié)點作為場景詞匯的輸出節(jié)點。

4.根據(jù)權利要求1所述的基于場景識別的中文手語翻譯方法，其特征在于，所述步驟S1中，基于循環(huán)卷積神經(jīng)網(wǎng)絡模型構建所述手語單詞識別模型，所述循環(huán)卷積神經(jīng)網(wǎng)絡模型包括級聯(lián)連接的卷積神經(jīng)網(wǎng)絡模型、循環(huán)神經(jīng)網(wǎng)絡模型，由所述卷積神經(jīng)網(wǎng)絡模型建立不同場景下手語動作與手語單詞之間映射關系，由所述循環(huán)神經(jīng)網(wǎng)絡模型獲取不同時刻手語動作之間的相關性。

5.根據(jù)權利要求4所述的基于場景識別的中文手語翻譯方法，其特征在于，基于所述循環(huán)卷積神經(jīng)網(wǎng)絡模型，采用多尺度殘差網(wǎng)絡提取輸入手語動作數(shù)據(jù)中每幀圖片的空間特征向量，具體步驟包括：輸入單幀手語動作圖片，經(jīng)過卷積后，將特征圖平均分割為縮放維度為s的多個特征圖子集xi，其中i∈{1,2,...,s}，每個所述特征圖子集具有相同的空間大小且通道數(shù)為1/s，除第一個特征圖子集x1外，將其余每個特征圖子集xi進行卷積操作后得到輸入yi，且將前一組的輸出特征與下一組輸入特征圖一起發(fā)送到下一組濾波器，最后將所有組的特征圖連接起來發(fā)送到另一組指定的濾波器中，以將所有特征信息融合在一起，形成所述空間特征向量。

6.根據(jù)權利要求5所述的基于場景識別的中文手語翻譯方法，其特征在于，基于所述循環(huán)卷積神經(jīng)網(wǎng)絡模型，還包括使用門控循環(huán)單元提取輸入手語動作數(shù)據(jù)的時間特征，形成時間特征向量，并將提取的所述空間特征向量與所述時間特征向量進行融合，最終得到全局語義信息以進行手語單詞識別。