[發明專利]一種云會議云翻譯方法及系統

在審

• 申請號: 202011248791.1
• 申請日: 2020-11-10
• 公開（公告）號: CN112380878A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 程世強;頊華偉
• 申請（專利權）人: 在線場景（北京）科技有限公司
• 主分類號: G06F40/58
• 分類號: G06F40/58;G06F16/36;G06F16/33;G06K9/62;G06N3/04;G06N3/08;G10L25/03;G10L25/24;G10L25/27;G10L25/30
• 代理公司: 成都魚爪智云知識產權代理有限公司 51308
• 代理人: 代述波

本發明提出了一種云會議云翻譯方法及系統，涉及視頻直播及機器翻譯領域。一種云會議云翻譯方法包括：采用語譜圖作為源語句并輸入至Encoder；指示從Encoder到Decoder轉換的邊界標記和目標句子為系統提供張量，包含單詞索引源輸入字、目標輸入字、目標輸出字；對齊關聯句子順序向左移動分解詞源，向左移動一個時間段并再右邊附加一個句末尾標記；通過已標標記源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言。其增加了更好的互動性，更好的模擬現實展會場景與場景營銷，高識別精確度。此外本發明還提出了一種云會議云翻譯系統，包括：編碼模塊、解碼模塊、標記模塊以及輸出模塊。

技術領域

本發明涉及視頻直播及機器翻譯領域，具體而言，涉及一種云會議云翻譯方法及系統。

背景技術

當前線上展會平臺普遍不重視參展商與觀眾的互動，對于線下展會的還原度普遍不高。對于收到展商單一語種的限制，不能起到更好的傳播效果。

隨著直播功能的拓展和國際化趨勢，很多直播及視頻會議平臺會在不同國家進行部署和推廣。此時，不同國家或地區的人員會使用不同語言進行交流。因此，一個有效的機器翻譯系統可以大大增強視頻會議交流的可行性。

發明內容

本發明的目的在于提供一種云會議云翻譯方法，其增加了更好的互動性，更好的模擬現實展會場景與場景營銷，在語音任務識別過程中，可交叉使用CRNN、Sequence-to-Sequence通道等，提高識別精確度。

本發明的另一目的在于提供一種云會議云翻譯系統，其能夠運行一種云會議云翻譯方法。

本發明的實施例是這樣實現的：

第一方面，本申請實施例提供一種云會議云翻譯方法，其包括采用語譜圖作為源語句并輸入至Encoder；指示從Encoder到Decoder轉換的邊界標記和目標句子為系統提供張量，包含單詞索引源輸入字、目標輸入字、目標輸出字；對齊關聯句子順序向左移動分解詞源，向左移動一個時間段并再右邊附加一個句末尾標記；通過已標標記源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言。

在本發明的一些實施例中，上述語譜圖的獲取方法包括：通過語音信號獲得語譜圖和聲學特征描述符LLD，對聲學特征描述符特征進行HSF表示，獲取切分后的音頻文件的全局特征。

在本發明的一些實施例中，上述還包括：語譜圖輸入饋入卷積神經網絡中作為一條通道；語譜圖和梅爾頻率倒譜系數饋入Sequence-to-Sequence中作為另一條通道，將兩條通道的模型融合加入注意力機制，形成聲紋識別特征。

在本發明的一些實施例中，上述從Encoder到Decoder轉換的方法包括：查找源語句并進行目標降維，以檢索相應的詞表示，為每種語言選擇一個詞匯表，每種語言一套降維權重；當檢索到相關詞語時，將詞語降維作為輸入饋送到兩個多層向量神經網絡組成源語言的Encoder以及用于目標語言的Decoder。

在本發明的一些實施例中，上述還包括訓練中梯度剪切以Adam做為優化器并預設學習率，形成編碼參數序列文件，為Decoder提供解碼所需數據支持。

在本發明的一些實施例中，上述通過已標標記數據的源語言和目標語言的句子對，引用注意力機制將源語言投影至目標語言包括第一Sequence-to-Sequence模型輸入為已標標記數據的源語言句子，通過深度模型源語言句子得到一個高維空間的向量；第二Sequence-to-Sequence模型以第一個Sequence-to-Sequence模型輸出的高維空間的向量為輸入，逐漸解碼目標語言句子。

在本發明的一些實施例中，上述還包括：注意力機制通過對目標語言Encoder與源語言的詞之間的相似度，得到哪些源語言需要得到更多的關注；得到更多關注的源語言的詞會在Encoder過程中加以更大的權重。