[發(fā)明專利]語義匹配方法、裝置和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110073897.0
• 申請日: 2021-01-20
• 公開（公告）號: CN113407664A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 劉艾婷;李晨曦
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/35;G06F40/30;G06F40/289
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 王娟;黃玫

1.一種語義匹配方法，包括：

對輸入的第一文本和第二文本執(zhí)行分詞和拼接處理，以得到第一詞序列；

將所述第一詞序列提供至嵌入網(wǎng)絡(luò)，并通過所述嵌入網(wǎng)絡(luò)將所述第一詞序列轉(zhuǎn)換為第一詞向量；

將所述第一詞向量提供至變換網(wǎng)絡(luò)，其中所述變換網(wǎng)絡(luò)還包括串聯(lián)連接的第一到第N變換層，其中，N為大于1的整數(shù)，所述第一變換層接收所述第一詞向量作為輸入向量并且其他變換層接收與其串聯(lián)連接的上一變換層生成的特征向量作為其輸入向量，每個變換層對所述輸入向量進(jìn)行特征提取并生成特征向量，并且每個變換層具有與其對應(yīng)的分類網(wǎng)絡(luò)；以及

從第一變換層開始逐層進(jìn)行以下操作，直至生成所述第一文本和第二文本的語義匹配結(jié)果：

將該變換層所生成的特征向量提供至與其對應(yīng)的分類網(wǎng)絡(luò)；

利用該變換層所對應(yīng)的分類網(wǎng)絡(luò)基于其接收的特征向量生成語義匹配預(yù)測結(jié)果；

在所述語義匹配預(yù)測結(jié)果滿足預(yù)定條件的情況下，基于所述語義匹配預(yù)測結(jié)果生成所述第一文本和第二文本的語義匹配結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述語義匹配預(yù)測結(jié)果包括指示所述第一文本和第二文本是否匹配的概率值，且所述預(yù)定條件包括：所述概率值大于預(yù)定閾值。

3.根據(jù)權(quán)利要求1所述的方法，其中，在第i變換層所對應(yīng)的分類網(wǎng)絡(luò)的語義匹配預(yù)測結(jié)果滿足預(yù)定條件的情況下，停止所述變換網(wǎng)絡(luò)中其他變換層及其對應(yīng)分類網(wǎng)絡(luò)的操作，其中i為大于等于1的整數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其中所述多個分類網(wǎng)絡(luò)中的每一個包括：全連接層、分類變換層和歸一化層，并且

其中所述分類網(wǎng)絡(luò)基于其接收的特征向量生成語義匹配預(yù)測結(jié)果，包括：

所述全連接層接收所述分類網(wǎng)絡(luò)所對應(yīng)的變換層輸出的特征向量，并由所述全連接層將所述特征向量變換為與語義匹配預(yù)測結(jié)果的類別數(shù)量對應(yīng)的維度的特征向量；

將所述全連接層輸出的特征向量提供到所述分類變換層，并由所述分類變換層輸出經(jīng)變換的特征向量；以及

將所述經(jīng)變換的特征向量提供到所述歸一化層，由所述歸一化層對其中的各元素執(zhí)行歸一化，并將歸一化的特征向量作為所述語義匹配預(yù)測結(jié)果。

5.根據(jù)權(quán)利要求1所述的方法，其中通過以下處理來訓(xùn)練各網(wǎng)絡(luò)：

利用第一訓(xùn)練數(shù)據(jù)集，訓(xùn)練所述嵌入網(wǎng)絡(luò)、所述變換網(wǎng)絡(luò)和所述第N變換層所對應(yīng)的分類網(wǎng)絡(luò)；以及

在保持完成訓(xùn)練的所述嵌入網(wǎng)絡(luò)、所述變換網(wǎng)絡(luò)和所述第N變換層所對應(yīng)的分類網(wǎng)絡(luò)中的參數(shù)固定的情況下，利用第二訓(xùn)練數(shù)據(jù)集，訓(xùn)練所述第一到第(N-1)變換層所對應(yīng)的分類網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的方法，其中所述第一訓(xùn)練數(shù)據(jù)集包括多個訓(xùn)練數(shù)據(jù)，每個訓(xùn)練數(shù)據(jù)包括第三文本、第四文本、以及第三文本和第四文本的真實(shí)語義匹配結(jié)果，其中，利用第一訓(xùn)練數(shù)據(jù)集，訓(xùn)練所述嵌入網(wǎng)絡(luò)、所述變換網(wǎng)絡(luò)和所述第N變換層所對應(yīng)的分類網(wǎng)絡(luò)包括：

在所述第一訓(xùn)練數(shù)據(jù)集中的至少一部分訓(xùn)練數(shù)據(jù)中，對每個訓(xùn)練數(shù)據(jù)的第三文本和第四文本執(zhí)行分詞和拼接處理，以得到第二詞序列；

將所述第二詞序列提供至所述嵌入網(wǎng)絡(luò)，并通過所述嵌入網(wǎng)絡(luò)將所述第二詞序列轉(zhuǎn)換為第二詞向量；

將所述第二詞向量提供至所述變換網(wǎng)絡(luò)，并將所述變換網(wǎng)絡(luò)中的第N變換層輸出的特征向量提供至與其對應(yīng)的分類網(wǎng)絡(luò)；

計(jì)算所述第N變換層所對應(yīng)的分類網(wǎng)絡(luò)輸出的語義匹配預(yù)測結(jié)果與真實(shí)語義匹配結(jié)果之間的第一損失函數(shù)；以及

基于所述第一損失函數(shù)，訓(xùn)練所述嵌入網(wǎng)絡(luò)、所述變換網(wǎng)絡(luò)和所述第N變換層所對應(yīng)的分類網(wǎng)絡(luò)。