[發(fā)明專利]文本相似度的處理方法、裝置、設(shè)備和計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710841945.X
• 申請(qǐng)日: 2017-09-18
• 公開(kāi)（公告）號(hào): CN107729300B
• 公開(kāi)（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 范淼;李傳勇;孫明明;施鵬;馮悅;李平
• 申請(qǐng)（專利權(quán)）人: 百度在線網(wǎng)絡(luò)技術(shù)(北京)有限公司
• 主分類號(hào): G06F40/194
• 分類號(hào): G06F40/194
• 代理公司: 北京鴻德海業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11412
• 代理人: 袁媛

1.一種文本相似度的處理方法，其特征在于，所述方法包括：

獲取由多種相似度確定方法得到的文本對(duì)的相似度確定結(jié)果，所述文本對(duì)的相似度確定結(jié)果包括文本對(duì)的相似度特征向量與相似度得分；

將所述文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到拼接特征；

將所述拼接特征作為相似度確定模型的輸入，根據(jù)所述相似度確定模型的輸出得到所述文本對(duì)的文本相似度；

其中，所述相似度確定模型是預(yù)先訓(xùn)練得到的；

所述將所述文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到拼接特征包括：

對(duì)所述相似度特征向量進(jìn)行隨機(jī)采樣，得到采樣特征向量；

將所述采樣特征向量與所述相似度得分進(jìn)行拼接，得到所述拼接特征；

所述相似度確定模型是采用如下方式預(yù)先訓(xùn)練得到的：

獲取由多種相似度確定方法得到的已標(biāo)注相似度的文本對(duì)的相似度確定結(jié)果；

將所述各文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到各文本對(duì)的拼接特征；

將所述各文本對(duì)的拼接特征與所述各文本對(duì)的標(biāo)注相似度作為訓(xùn)練樣本，訓(xùn)練分類模型，以得到相似度確定模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述分類模型的訓(xùn)練目標(biāo)為最小化所述分類模型的損失值；

在所述訓(xùn)練分類模型的過(guò)程中，利用所述損失值對(duì)所述分類模型進(jìn)行參數(shù)調(diào)整。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述損失值為所述分類模型輸出的文本對(duì)的文本相似度與所述文本對(duì)的標(biāo)注相似度之間的誤差。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述對(duì)所述相似度特征向量進(jìn)行隨機(jī)采樣，得到采樣特征向量包括：

按照預(yù)設(shè)概率對(duì)所述相似度特征向量中的特征值進(jìn)行隨機(jī)采樣，并將所述相似度特征向量中未被采樣的特征值設(shè)置為0，得到采樣特征向量。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述相似度確定模型為基于神經(jīng)網(wǎng)絡(luò)的分類模型。

6.一種文本相似度的處理裝置，其特征在于，所述裝置包括：

獲取單元，用于獲取由多種相似度確定方法得到的文本對(duì)的相似度確定結(jié)果，所述文本對(duì)的相似度確定結(jié)果包括文本對(duì)的相似度特征向量與相似度得分；

拼接單元，用于將所述文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到拼接特征；

處理單元，用于將所述拼接特征作為相似度確定模型的輸入，根據(jù)所述相似度確定模型的輸出得到所述文本對(duì)的文本相似度；

其中，所述相似度確定模型是預(yù)先訓(xùn)練得到的；

所述拼接單元在將所述文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到拼接特征時(shí)，具體執(zhí)行：

對(duì)所述相似度特征向量進(jìn)行隨機(jī)采樣，得到采樣特征向量；

將所述采樣特征向量與所述相似度得分進(jìn)行拼接，得到所述拼接特征；

訓(xùn)練單元，用于采用如下方式預(yù)先訓(xùn)練得到所述相似度確定模型：

獲取由多種相似度確定方法得到的已標(biāo)注相似度的文本對(duì)的相似度確定結(jié)果；

將所述各文本對(duì)的相似度確定結(jié)果進(jìn)行拼接，得到各文本對(duì)的拼接特征；

將所述各文本對(duì)的拼接特征與所述各文本對(duì)的標(biāo)注相似度作為訓(xùn)練樣本，訓(xùn)練分類模型，以得到相似度確定模型。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述分類模型的訓(xùn)練目標(biāo)為最小化所述分類模型的損失值；

在所述訓(xùn)練分類模型的過(guò)程中，利用所述損失值對(duì)所述分類模型進(jìn)行參數(shù)調(diào)整。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述損失值為所述分類模型輸出的文本對(duì)的文本相似度與所述文本對(duì)的標(biāo)注相似度之間的誤差。

9.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述拼接單元對(duì)所述相似度特征向量進(jìn)行隨機(jī)采樣，得到采樣特征向量時(shí)具體執(zhí)行：

按照預(yù)設(shè)概率對(duì)所述相似度特征向量中的特征值進(jìn)行隨機(jī)采樣，并將所述相似度特征向量中未被采樣的特征值設(shè)置為0，得到采樣特征向量。