[發明專利]基于雙向循環神經網絡的口譯評測方法、系統及設備

在審

• 申請號: 202110962640.0
• 申請日: 2021-08-20
• 公開（公告）號: CN113674764A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 劉江輝;謝柏儒;黃偉波
• 申請（專利權）人: 廣東外語外貿大學
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L15/18;G06F40/51;G06N3/04;G06N3/08
• 代理公司: 廣州幫專高智知識產權代理事務所(特殊普通合伙) 44674
• 代理人: 顏德昊

1.一種基于雙向循環神經網絡的口譯評測方法，其特征在于，包括如下步驟：

將口譯結果的聲學特征進行音節的向量轉化；

輸出等維度的特征向量；

獲取特征向量的統一概率分布；

利用概率分布的結果分別得出口譯結果的質量向量以及語境詞向量；

將語境詞向量轉化為連續的語境特征句向量；

將質量向量以及語境特征句向量輸入雙向循環神經網絡，獲得口譯結果文本的文本對照程度向量和文本聯系程度向量，然后通過向量連接操作獲得口譯結果整體特征向量；

將得到的口譯結果整體特征向量用于計算口譯質量得分QE_{INTERPRETATION}，其中，y^*表示為口譯結果整體特征向量，w_qe為全連接神經網絡層的權重矩陣。

2.根據權利要求1所述的基于雙向循環神經網絡的口譯評測方法，其特征在于，所述將口譯結果的聲學特征進行音節的向量轉化包括步驟：

將口譯結果的聲學特征向量W_i輸入到改進的Transformer模型的Self-Attention層，產生同等維度的新特征向量W′_i，W′_i＝W_i+MHA(W_i，W_i，W_i)；

其中，MHA(W_i，W_i，W_i)表示Self-Attention機制，i表示解碼器索引，且i＝0，...，e-1；

Self-Attention層輸出的特征向量經過前向反饋神經，繼續形成同維度的特征向量W_i+1，W_i+1＝W′_i+FF_i(W′_i)，

其中，(W[t])表示所輸入的聲學特征向量序列W_i的第t幀，FF_i表示第i個雙層的前向反饋神經網絡，表示Self-Attention層的權重矩陣，表示Self-Attention層的偏置矢量。

3.根據權利要求2所述的基于雙向循環神經網絡的口譯評測方法，其特征在于，所述輸出等維度的特征向量包括步驟：

將編碼層中通過前向反饋所得到的特征向量輸入到解碼層中，使用單一方向上的解碼器，生產目標序列；編碼層中Self-Attention的公式如下：其中，j為解碼器的索引，且j＝0，...，d-1；

將第一層的Self-Attention的輸出結果傳遞到下一層的Encoder-Decoder Self-Attention中，使得解碼器中的所有位置都能準確識別出所輸出序列的所在位置信息，公式如下：其中，表示解碼器和編碼器的Self-Attention機制；

繼續通過前向反饋神經輸出等維度的特征向量，公式如下：Y_j+1＝Y″_j+FF_i(Y″_j)，其中，FF_i表示第i個雙層前反饋神經網絡。

4.根據權利要求3所述的基于雙向循環神經網絡的口譯評測方法，其特征在于，所述獲取特征向量的統一概率分布包括步驟：

計算出Z，K矩陣的點乘；

將計算出的Z，K矩陣的點乘除以一個以減少誤差；

使用Softmax函數將上述Z，K矩陣的點乘除以一個后得到的結果化為概率分布，然后乘以矩陣，從而得到權重求和后的特征表達Attentio(Z，K，V)，其中，Z，K，V表示從解碼器中所輸出的向量。