[發明專利]基于復合神經網絡的語義關系推斷系統和方法

有效

• 申請號: 201811446102.0
• 申請日: 2018-11-29
• 公開（公告）號: CN111241843B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 何廣;朱琦;林鵬飛;袁源;覃玲華;毛仕文;陳開添
• 申請（專利權）人: 中國移動通信集團廣東有限公司;中國移動通信集團有限公司
• 主分類號: G06F40/30
• 分類號: G06F40/30;G06F40/284;G06F18/2411;G06N3/0464;G06N3/08;G06F16/35
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王瑩;李相雨

1.一種基于復合神經網絡的語義關系推斷系統，其特征在于，所述系統包括特征提取單元、訓練單元以及決策單元，所述訓練單元包括雙生長短期記憶神經網絡模型、分解焦距模型以及增強序列推斷模型，其中：

所述特征提取單元，用于提取輸入文本的詞向量輸出至所述訓練單元；

所述訓練單元，用于接收所述詞向量，將需要匹配的兩個文本的詞向量分別進行雙生長短期記憶神經網絡模型、分解焦距模型以及增強序列推斷模型的訓練，將各模型輸出的結果向量輸出至所述決策單元；

所述決策單元，用于接收所述訓練單元輸入的結果向量，通過梯度增強決策樹進行整合后輸出需要匹配的兩個文本的語義關系；

所述雙生長短期記憶神經網絡模型包括：

第一輸入模塊，用于將需要匹配的兩個文本的詞向量分別輸入到兩個長短期記憶神經網絡，得到兩個文本的最終隱藏狀態；

第一訓練模塊，將兩個文本的最終隱藏狀態的歸一化后的差值作為預測標簽進行訓練；

第一輸出模塊，用于將訓練得的兩個文本的最終隱藏狀態進行向量拼接，輸出至所述決策單元。

2.根據權利要求1所述的系統，其特征在于，所述分解焦距模型包括：

第二輸入模塊，用于將需要匹配的兩個文本的詞向量輸入到一個分解聚焦矩陣，得到兩個詞向量位置的對位詞向量；

第二訓練單元，用于將對位詞向量和相應位置的原詞向量的比較結果輸入到前饋神經網絡進行訓練；

第二輸出單元，用于將訓練得的兩個文本的位置比較結果池化后的向量進行拼接，輸出至所述決策單元。

3.根據權利要求1所述的系統，其特征在于，所述增強序列推斷模型包括：

第三輸入模塊，用于將需要匹配的兩個文本的詞向量輸入到一個雙生長短期記憶神經網絡，得到每一步兩個文本的隱藏狀態；

第四輸入模塊，用于將雙生長短期記憶神經網絡每一步的隱藏狀態作為對應文本的位置編碼，輸入到一個分解聚焦矩陣，得到兩個文本的對位局域編碼；

第五輸入模塊，用于將兩個文本的對位局域編碼輸入到一個長短期記憶神經網絡，得到兩個文本的隱藏狀態；

第三輸出單元，用于將兩個文本的隱藏狀態池化后的向量進行拼接，輸出至所述決策單元。

4.一種基于復合神經網絡的語義關系推斷方法，其特征在于，所述方法包括：

提取輸入文本的詞向量；

對所述詞向量分別進行雙生長短期記憶神經網絡模型、分解焦距模型以及增強序列推斷模型的訓練；

將各模型輸出的結果向量進行整合后輸出需要匹配的兩個文本的語義關系；

所述方法還包括：

雙生長短期記憶神經網絡模型的訓練步驟：

將需要匹配的兩個文本的詞向量分別輸入到兩個長短期記憶神經網絡，得到兩個文本的最終隱藏狀態；

將兩個文本的最終隱藏狀態的歸一化后的差值作為預測標簽進行訓練；

將訓練得的兩個文本的最終隱藏狀態進行向量拼接，輸出至決策單元。

5.根據權利要求4所述的方法，其特征在于，所述方法還包括：

分解焦距模型的訓練步驟：

將需要匹配的兩個文本的詞向量輸入到一個分解聚焦矩陣，得到兩個詞向量位置的對位詞向量；

將對位詞向量和相應位置的原詞向量的比較結果輸入到前饋神經網絡進行訓練；

將訓練得的兩個文本的位置比較結果池化后的向量進行拼接，輸出至所述決策單元。

6.根據權利要求4所述的方法，其特征在于，所述方法還包括：

增強序列推斷模型的訓練步驟：

將需要匹配的兩個文本的詞向量輸入到一個雙生長短期記憶神經網絡，得到每一步兩個文本的隱藏狀態；

將雙生長短期記憶神經網絡每一步的隱藏狀態作為對應文本的位置編碼，輸入到一個分解聚焦矩陣，得到兩個文本的對位局域編碼；

將兩個文本的對位局域編碼輸入到一個長短期記憶神經網絡，得到兩個文本的隱藏狀態；

將兩個文本的隱藏狀態池化后的向量進行拼接，輸出至所述決策單元。