[發明專利]一種云會議云翻譯方法及系統

在審

• 申請號: 202011248791.1
• 申請日: 2020-11-10
• 公開（公告）號: CN112380878A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 程世強;頊華偉
• 申請（專利權）人: 在線場景（北京）科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/36;G06F16/33;G06K9/62;G06N3/04;G06N3/08;G10L25/03;G10L25/24;G10L25/27;G10L25/30
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 代述波

1.一種云會議云翻譯方法，其特征在于，包括：

采用語譜圖作為源語句并輸入至Encoder；

指示從Encoder到Decoder轉換的邊界標記和目標句子為系統提供張量，包含單詞索引源輸入字、目標輸入字、目標輸出字；

對齊關聯句子順序向左移動分解詞源，向左移動一個時間段并再右邊附加一個句末尾標記；

通過已標標記源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言。

2.如權利要求1所述的一種云會議云翻譯方法，其特征在于，所述語譜圖的獲取方法包括：

通過語音信號獲得語譜圖和聲學特征描述符LLD，對聲學特征描述符特征進行HSF表示，獲取切分后的音頻文件的全局特征。

3.如權利要求2所述的一種云會議云翻譯方法，其特征在于，還包括：

語譜圖輸入饋入卷積神經網絡中作為一條通道；

語譜圖和梅爾頻率倒譜系數饋入Sequence-to-Sequence中作為另一條通道，將兩條通道的模型融合加入注意力機制，形成聲紋識別特征。

4.如權利要求1所述的一種云會議云翻譯方法，其特征在于，所述從Encoder到Decoder轉換的方法包括：

查找源語句并進行目標降維，以檢索相應的詞表示，為每種語言選擇一個詞匯表，每種語言一套降維權重；

當檢索到相關詞語時，將詞語降維作為輸入饋送到兩個多層向量神經網絡組成源語言的Encoder以及用于目標語言的Decoder。

5.如權利要求4所述的一種云會議云翻譯方法，其特征在于，還包括：

訓練中梯度剪切以Adam做為優化器并預設學習率，形成編碼參數序列文件，為Decoder提供解碼所需數據支持。

6.如權利要求1所述的一種云會議云翻譯方法，其特征在于，所述通過已標標記數據的源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言包括：

第一Sequence-to-Sequence模型輸入為已標標記數據的源語言句子，通過深度模型源語言句子得到一個高維空間的向量；

第二Sequence-to-Sequence模型以第一個Sequence-to-Sequence模型輸出的高維空間的向量為輸入，逐漸解碼目標語言句子。

7.如權利要求6所述的一種云會議云翻譯方法，其特征在于，還包括：

注意力機制通過對目標語言Encoder與源語言的詞之間的相似度，得到哪些源語言需要得到更多的關注；

得到更多關注的源語言的詞會在Encoder過程中加以更大的權重。

8.如權利要求7所述的一種云會議云翻譯方法，其特征在于，還包括：

對不同語言提取特征訓練一個語言分類器，通過語言分類器判斷用戶輸入的文本屬于哪個語言。

9.一種云會議云翻譯系統，其特征在于，包括：

編碼模塊，用于采用語譜圖作為源語句并輸入至Encoder；

解碼模塊，用于指示從Encoder到Decoder轉換的邊界標記和目標句子為系統提供張量，包含單詞索引源輸入字、目標輸入字、目標輸出字；

標記模塊，用于對齊關聯句子順序向左移動分解詞源，向左移動一個時間段并再右邊附加一個句末尾標記；

輸出模塊，用于通過已標標記源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言。

10.如權利要求9所述的一種云會議云翻譯系統，其特征在于，包括：

用于存儲計算機指令的至少一個存儲器；

與所述存儲器通訊的至少一個處理器，其中當所述至少一個處理器執行所述計算機指令時，所述至少一個處理器使所述系統執行：編碼模塊、解碼模塊、標記模塊以及輸出模塊。