[發明專利]基于深度神經網絡的句子對齊方法

在審

• 申請號: 201810835723.1
• 申請日: 2018-07-26
• 公開（公告）號: CN109062910A
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 丁穎;李軍輝;周國棟
• 申請（專利權）人: 蘇州大學
• 主分類號: G06F17/28
• 分類號: G06F17/28;G06F17/27;G06N3/04
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 馮瑞;楊慧林

1.一種基于深度神經網絡的句子對齊方法，其特征在于：

1)語料預處理：根據訓練語料生成詞表和詞嵌入詞表；

2)生成詞嵌入層，對句子中的每個單詞，從詞嵌入表中找到它對應的詞嵌入；

3)采用雙向循環神經網絡層，對句子進行編碼，不僅考慮了單詞本身的語義信息，而且考慮了該單詞的上下文信息，使每個單詞獲得包含其上下文信息的隱藏狀態；

4)門關聯網絡層，計算兩個句子中詞對間的語義關系信息；以雙向循環神經網絡獲得的每個單詞的隱藏狀態作為輸入，使用通過門機制融合的雙線性模型和單層神經網絡的網絡，即門關聯網絡來從線性關系和非線性關系兩個角度捕獲詞對間相似性，然后使用最大池化操作來捕獲其最具信息量的部分；

5)感知器層，將門關聯網絡層的結果作為一個向量表示輸入到感知器中，并通過感知器獲得更抽象的表示來判斷句子對齊；

6)計算出兩個句子對齊的概率，最后根據概率是否大于設定的值來判斷兩個句子是否對齊，然后將兩篇文檔中對齊的句子抽取出來。

2.如權利要求1所述的基于深度神經網絡的句子對齊方法，其特征在于：在步驟2)之后還包括如下步驟：

31)卷積神經網絡層，使用多層卷積神經網絡來計算句子向量，能夠更好地捕獲句義信息，對句子進行編碼，能夠更好地捕獲句義信息，得到句子的向量表示；將兩個句子向量拼接起來；

5)所述步驟5包括如下步驟：感知器層，將門關聯網絡層的結果和卷積神經網絡層的結果組合成一個向量表示輸入到感知器中，并通過感知器獲得更抽象的表示來判斷句子對齊。

3.如權利要求1或2所述的基于深度神經網絡的句子對齊方法，其特征在于：所述感知器層為多層感知器層。

4.如權利要求3所述的基于深度神經網絡的句子對齊方法，其特征在于：所述雙向循環神經網絡層不僅對單詞本身進行編碼，還對句子從左到右和從右到左的上下文進行編碼，在此我們只描述長度為m的源端句子s的雙向循環神經網絡過程，源端句子s的編碼使用的是一對神經網絡即雙向循環神經網絡：前向循環神經網絡從左向右讀取輸入的句子序列s＝(s₁,...,s_m)，并輸出一個前向隱藏狀態后向循環神經網絡從右向左讀取輸入的句子序列，并輸出一個后向隱藏狀態那么源端句子s中的每個單詞s_j的隱藏狀態h_j，表示為隱藏狀態和的拼接，本發明中雙向循環神經網絡使用門控循環單元來解決長期依賴關系的學習問題，如下所示：在位置j處，前向隱藏狀態根據以下四個公式進行更新：

其中，表示前一時刻的隱藏狀態，s_j是第j個單詞的詞嵌入，在計算時包含了前面狀態和當前時刻的信息，在計算每個單詞的隱藏狀態時，都能或多或少地包含該單詞前面序列的信息，σ是S型生長曲線，W_z，W_r，W是要學習的模型參數，訓練開始時隨機初始化這些參數，并在訓練過程中使用梯度下降算法對其進行優化更新，·表示矩陣乘法，⊙表示元素乘法，同樣的，后向隱藏狀態以同樣的方式進行更新，本發明使用相同的雙向循環神經網絡來編碼源端語句s和目標端語句t，因此目標端語句t的計算公式與上述相同；同時，還可以使用長短期記憶單元來替代本發明使用的門控循環單元，在位置j處，前向隱藏狀態根據以下六個公式進行更新：

其中，表示前一時刻的隱藏狀態，s_j是第j個單詞的詞嵌入，σ是S型生長曲線，W_f，W_i，W_c，W_o，b_f，b_i，b_c，b_o是要學習的模型參數，訓練開始時隨機初始化這些參數，并在訓練過程中使用梯度下降算法對其進行優化更新，·表示矩陣乘法，⊙表示元素乘法。