[發(fā)明專利]基于翻譯模型的相似句子匹配方法、裝置、設(shè)備及介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011268254.3
• 申請日: 2020-11-13
• 公開（公告）號: CN112380837A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計）人: 吳信朝;周宸;周寶;陳遠(yuǎn)旭
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/289;G06F40/30;G06F40/42;G06F16/33;G06N3/08
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 周燕君

1.一種基于翻譯模型的相似句子匹配方法，其特征在于，包括：

獲取待匹配句子以及樣本句子集；所述樣本句子集中包含至少一個樣本句子；

通過預(yù)設(shè)的神經(jīng)網(wǎng)絡(luò)翻譯模型分別對所述待匹配句子和各所述樣本句子進(jìn)行翻譯處理，得到與所述待匹配句子對應(yīng)的第一翻譯句子，以及與各所述樣本句子對應(yīng)的第二翻譯句子；

將所述第一翻譯句子和各所述第二翻譯句子輸入至預(yù)設(shè)的翻譯語言模型中，得到所述第一翻譯句子分別與各所述第二翻譯句子之間的第一相似度；將所述待匹配句子和各所述樣本句子輸入至預(yù)設(shè)的中文語言模型中，得到所述待匹配句子分別與各所述樣本句子之間的第二相似度；

根據(jù)與同一個所述樣本句子對應(yīng)的所述第一相似度和所述第二相似度，確定該樣本句子與所述待匹配句子之間的語義相似度；

選取與各所述樣本句子對應(yīng)的語義相似度中的最大值，在所述最大值大于或等于預(yù)設(shè)相似度閾值時，將與所述最大值對應(yīng)的所述樣本句子記錄為與所述待匹配句子對應(yīng)的相似句子。

2.如權(quán)利要求1所述的基于翻譯模型的相似句子匹配方法，其特征在于，所述將所述第一翻譯句子和各所述第二翻譯句子輸入至預(yù)設(shè)的翻譯語言模型中之前，包括：

獲取包含多組訓(xùn)練句子組合的訓(xùn)練樣本集，所述訓(xùn)練句子組合包括通過特殊字符連接的兩個訓(xùn)練句子；每一所述訓(xùn)練句子組合關(guān)聯(lián)一個相似度標(biāo)簽；所述相似度標(biāo)簽表征所述訓(xùn)練句子組合中兩個訓(xùn)練句子之間的樣本相似度；

獲取包含第一初始參數(shù)的預(yù)設(shè)語言模型；所述預(yù)設(shè)語言模型中包括初始預(yù)訓(xùn)練模型、循環(huán)神經(jīng)網(wǎng)絡(luò)和初始回歸模型；

根據(jù)預(yù)設(shè)選取規(guī)則從所述訓(xùn)練樣本集中選取一個訓(xùn)練句子組合作為模型訓(xùn)練組合，并根據(jù)與所述模型訓(xùn)練組合關(guān)聯(lián)的相似度標(biāo)簽確定與其對應(yīng)的樣本相似度；

將所述模型訓(xùn)練組合輸入至所述初始預(yù)訓(xùn)練模型中，得到與所述模型訓(xùn)練組合中第一訓(xùn)練句子對應(yīng)的第一特征向量集，以及與所述模型訓(xùn)練組合中第二訓(xùn)練句子對應(yīng)的第二特征向量集；

在將所述第一特征向量集和所述第二特征向量集輸入至循環(huán)神經(jīng)網(wǎng)絡(luò)中，并獲取循環(huán)神經(jīng)網(wǎng)絡(luò)輸出新的第一特征向量集和新的第二特征向量集之后，對所述新的第一特征向量集和所述新的第二特征向量集進(jìn)行池化操作和拼接操作，得到特征拼接向量；

將所述拼接特征向量輸入至初始回歸模型中，得到所述第一訓(xùn)練句子和所述第二訓(xùn)練句子之間的初始相似度，并根據(jù)所述樣本相似度與所述初始相似度確定所述預(yù)設(shè)語言模型的相似度損失值；

在所述相似度損失值未達(dá)到預(yù)設(shè)收斂條件時，迭代更新所述預(yù)設(shè)語言模型的第一初始參數(shù)，直至所述相似度損失值達(dá)到所述預(yù)設(shè)收斂條件時，將收斂之后的所述預(yù)設(shè)語言模型記錄為所述預(yù)設(shè)的翻譯語言模型。

3.如權(quán)利要求2所述的基于翻譯模型的相似句子匹配方法，其特征在于，所述將所述模型訓(xùn)練組合輸入至所述初始預(yù)訓(xùn)練模型中，得到與所述模型訓(xùn)練組合中第一訓(xùn)練句子對應(yīng)的第一特征向量集，以及與所述模型訓(xùn)練組合中第二訓(xùn)練句子對應(yīng)的第二特征向量集，包括：

對所述第一訓(xùn)練句子和第二訓(xùn)練句子進(jìn)行詞特征提取，得到與所述第一訓(xùn)練句子對應(yīng)的第一詞特征向量集，以及與第二訓(xùn)練句子對應(yīng)的第二詞特征向量集；

對所述第一詞特征向量集和所述第二詞特征向量集進(jìn)行注意力處理，得到初始注意力矩陣；

根據(jù)所述初始注意力矩陣，對所述第一詞特征向量集進(jìn)行擴(kuò)展得到第一特征向量集；根據(jù)所述初始注意力矩陣，對所述第二詞特征向量集進(jìn)行擴(kuò)展，得到第二特征向量集。