[發明專利]基于Bert模型的文本相似度計算方法和裝置

在審

• 申請號: 202010151330.6
• 申請日: 2020-03-06
• 公開（公告）號: CN111368037A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 周宸;駱加維;周寶;陳遠旭
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F40/284;G06F40/211;G06N3/04
• 代理公司: 北京匯思誠業知識產權代理有限公司 11444
• 代理人: 馮曉平

本發明公開了一種基于Bert模型的文本相似度計算方法、裝置、計算機設備及存儲介質，涉及人工智能技術領域。該基于Bert模型的文本相似度計算方法包括：確定待比對文本句段；采用詞頻詞現率算法，基于待比對文本句段得到第一文本矩陣；通過預先訓練的Bert模型，基于待比對文本句段得到第二文本矩陣；將第一文本矩陣和第二文本矩陣進行拼接，得到拼接文本矩陣；對拼接文本矩陣進行特征優化，得到目標文本矩陣；采用預設的相似度算法，根據目標文本矩陣得到待比對文本句段間的文本相似度。采用該基于Bert模型的文本相似度計算方法能夠提高文本相似度計算的準確度。

【技術領域】

本發明涉及人工智能技術領域，尤其涉及一種基于Bert模型的文本相似度計算方法和裝置。

【背景技術】

文本相似度計算是自然語言處理領域的分支之一。目前文本相似度預測、計算上仍存在語義識別能力較弱、字詞與文本相關性不強等問題。文本相似度計算的準確度不能達到用戶的期望。

【發明內容】

有鑒于此，本發明實施例提供了一種基于Bert模型的文本相似度計算方法、裝置、計算機設備及存儲介質，用以解決目前文本相似度計算的準確度較低的問題。

第一方面，本發明實施例提供了一種基于Bert模型的文本相似度計算方法，包括：

確定待比對文本句段；

采用詞頻詞現率算法，基于所述待比對文本句段得到第一文本矩陣；

通過預先訓練的Bert模型，基于所述待比對文本句段得到第二文本矩陣；

將所述第一文本矩陣和所述第二文本矩陣進行拼接，得到拼接文本矩陣；

對所述拼接文本矩陣進行特征優化，得到目標文本矩陣；

采用預設的相似度算法，根據所述目標文本矩陣得到所述待比對文本句段間的文本相似度。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述采用詞頻詞現率算法，基于所述待比對文本句段得到第一文本矩陣，包括：

根據所述待比對文本句段建立詞袋，其中，所述詞袋包括所述待比對文本句段中出現的字詞；

根據所述詞袋計算每個所述字詞在所述待比對文本句段中的詞頻，采用公式表示為其中，t表示字詞，d表示句段，tf_t,d表示字詞t是否在句段d中出現，若出現則取1，若沒有出現則g_t,d取0，g_t,d表示一個字詞在一所述待比對文本句段中的占比；

根據所述詞袋計算逆向文件頻率，采用公式表示為其中，N表示文件總個數，所述文件是預先確定的，df_t表示有n個文件含有字詞t,所述n為大于或等于0的整數；

根據所述詞頻和所述逆向文件頻率得到所述第一文本矩陣，所述第一文本矩陣中的元素采用公式計算得到。

如上所述的方面和任一可能的實現方式，進一步提供一種實現方式，所述在通過預先訓練的Bert模型，基于所述待比對文本句段得到第二文本矩陣之前，還包括Bert模型的訓練過程，包括如下步驟：

獲取原始語料；

將所述原始語料進行字符級的分割；

根據所述原始語料構建句子對，其中，所述句子對包括正樣本句子對和負樣本句子對，所述正樣本句子對存在句子間的上下文關系，所述負樣本句子對不存在句子間的上下文關系；

基于字符級分割后的所述原始語料連接所述句子對；

隨機遮掩所述句子對中百分之十的字符，得到訓練語料；

將所述訓練語料輸入到初始Bert模型中進行訓練，得到所述Bert模型。