[發明專利]多視角句子匹配模型、應用方法和相關裝置

在審

• 申請號: 202210462525.1
• 申請日: 2022-04-28
• 公開（公告）號: CN114896962A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 張哲;張濤;冷洪勇;錢育蓉;韓坤棟;彭玻
• 申請（專利權）人: 新疆大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/30;G06F40/126;G06F40/151;G06K9/62;G06N3/04
• 代理公司: 烏魯木齊合縱專利商標事務所 65105
• 代理人: 俞亮

1.一種多視角句子匹配模型，其特征在于，包括輸入編碼模塊、等長交互注意力模塊、多特征空間信息提取模塊和預測模塊；

輸入編碼模塊，將句子進行編碼，獲取句子的原始特征表達；

等長交互注意力模塊，從兩個不同的方向捕獲句子間的高層交互特征，學習句子的交互表示；

多特征空間信息提取模塊，捕獲句子底層特征的細節性信息；

預測模塊，利用句子的交互表示和細節性信息，對兩個句子的語義關系進行判別。

2.根據權利要求1所述的多視角句子匹配模型，其特征在于，所述等長交互注意力模塊包括多個等長交互單元，多個等長交互單元從兩個不同的方向捕獲句子間的高層交互特征，學習句子的交互表示，其中每個等長交互單元均包括第一子模塊、第二子模塊和第三子模塊；

第一子模塊，利用交互注意力機制獲取句子的注意力信息；

第二子模塊，利用線性層對注意力信息進行線性處理；

第三子模塊，將線性處理后的注意力信息進行等長卷積運算，融合句中每個詞的上下文信息，捕獲句子間的高層交互特征，學習句子的交互表示；

或/和，所述多特征空間信息提取模塊包括空間映射單元、特征提取單元；

空間映射單元，根據特定的空間數對底層特征進行劃分，并經線性層后將底層特征映射到不同的特征空間；

特征提取單元，對空間映射后的底層特征進行二維卷積運算，捕獲和融合不同特征空間的細節性信息，并使用最大池化運算將細節性信息進行聚合。

3.根據權利要求1或2所述的多視角句子匹配模型，其特征在于，所述輸入編碼模塊利用孿生結構的BiLSTM網絡對句子進行編碼，獲取句子的原始特征表達；

或/和，所述預測模塊包括第一處理單元、第二處理單元和結果融合單元；

第一處理單元，將句子的交互表示轉換為向量，且對其進行運算，產生運算后的特征，并將句子的交互表示與運算后的特征拼接生成句子的高層語義特征；

第二處理單元，將細節性信息進行運算，產生運算后的特征，將細節性信息與運算后的特征拼接生成句子的底層語義特征；

結果融合單元，將句子的高層語義特征和底層語義特征分別通過兩個不同多層感知器進行融合，并通過歸一化函數獲得最終判別結果。

4.一種多視角句子匹配模型的訓練方法，其特征在于，包括：

設置多視角句子匹配模型的中輸入編碼模塊、等長交互注意力模塊、多特征空間信息提取模塊和預測模塊的初始參數；

獲取訓練樣本，利用訓練樣本對多視角句子匹配模型進行訓練，獲得訓練結果；其中多視角句子匹配模型是如權利要求1至3中任意一項所述的多視角句子匹配模型；

利用損失函數對訓練結果進行分析；

根據損失函數的分析結果，調節模型參數，選取最優的參數，輸出多視角句子匹配模型。

5.根據權利要求4所述的多視角句子匹配模型的訓練方法，其特征在于，所述損失函數為交叉熵函數，具體如下所示：

其中，是預測概率，y是真實標簽，N是樣本類別數。

6.一種多視角句子匹配方法，其特征在于，包括：

獲取待進行語義關系判別的兩個句子；

將所述兩個句子輸入多視角句子匹配模型，得到兩個句子的語義關系判別結果；其中，多視角句子匹配模型是如權利要求1至3中任意一項所述的多視角句子匹配模型。

7.一種多視角句子匹配模型的訓練裝置，所述多視角句子匹配模型的訓練裝置使用如權利要求4至5中任意一項所述的多視角句子匹配模型的訓練方法，其特征在于，包括：

參數設置單元，設置多視角句子匹配模型的中輸入編碼模塊、等長交互注意力模塊、多特征空間信息提取模塊和預測模塊的初始參數；

第一訓練單元，獲取訓練樣本，利用訓練樣本對多視角句子匹配模型進行訓練，獲得訓練結果；其中多視角句子匹配模型是如權利要求1至3中任意一項所述的多視角句子匹配模型；

分析單元，利用損失函數對訓練結果進行分析；

第二訓練單元，根據損失函數的分析結果，調節模型參數，選取最優的參數，輸出多視角句子匹配模型。