[發明專利]一種文本對融合方法及裝置

有效

• 申請號: 201911096632.1
• 申請日: 2019-11-11
• 公開（公告）號: CN110825863B
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 周輝陽
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284
• 代理公司: 深圳翼盛智成知識產權事務所(普通合伙) 44300
• 代理人: 彭緒坤

本申請實施例公開了一種文本對融合方法及裝置；本申請實施例在獲取到待融合文本對后，對待融合文本對進行分詞處理，得到待融合文本對對應的關鍵分詞，基于關鍵分詞從預設文本集中確定候選文本對，接著，獲取待融合文本對與候選文本對之間的相似度、編輯距離，并基于相似度和編輯距離，從候選文本對中確定至少一個目標文本對，將待融合文本對、與預設文本集中的目標文本對進行融合，得到融合后文本集；由于本申請實施例是基于待融合文本對中的關鍵分詞從預設文本集中先獲取候選文本對，再通過相似度和編輯距離確定目標文本對，從而可以減少融合需要的時間、提高融合效果。

技術領域

本申請涉及通信技術領域，具體涉及一種文本對融合方法及裝置。

背景技術

在問答對數據構建的過程中，一般是把用戶上傳的問答對直接導入數據庫中；或者，有的問答對在導入前與數據庫中的問答對進行融合。然而，現有技術中的問答對之間的融合效果較差。

發明內容

本申請實施例提供一種文本對融合方法及裝置，可以提高融合效果。

本申請實施例提供一種文本融合方法，包括：

獲取待融合文本對；

對所述待融合文本對進行分詞處理，得到所述待融合文本對對應的關鍵分詞；

基于所述關鍵分詞從預設文本集中確定候選文本對，所述預設文本集包括至少一個文本對；

獲取所述待融合文本對與候選文本對之間的相似度、編輯距離，并基于所述相似度和所述編輯距離，從所述候選文本對中確定至少一個目標文本對；

將所述待融合文本對、與所述預設文本集中的目標文本對進行融合，得到融合后文本集。

相應的，本申請實施例還提供一種文本融合裝置，包括：

獲取模塊，所述獲取模塊用于獲取待融合文本對；

分詞模塊，所述分詞模塊用于對所述待融合文本對進行分詞處理，得到所述待融合文本對對應的關鍵分詞；

第一確定模塊，所述確定模塊用于基于所述關鍵分詞從預設文本集中確定候選文本對，所述預設文本集包括至少一個文本對；

第二確定模塊，所述第二確定模塊用于獲取所述待融合文本對與候選文本對之間的相似度、編輯距離，并基于所述相似度和所述編輯距離，從所述候選文本對中確定至少一個目標文本對；

融合模塊，所述融合模塊用于將所述待融合文本對、與所述預設文本集中的目標文本對進行融合，得到融合后文本集。

可選的，在本申請的一些實施例中，所述分詞模塊，包括：

第一分詞子單元，所述第一分詞子單元用于對所述待融合文本對中的文本進行分詞處理，得到候選分詞；

第一獲取子單元，所述第一獲取子單元用于獲取所述候選分詞的詞性和詞頻，所述詞頻為所述候選分詞在所述預設文本集中出現的頻次；

第一確定子單元，所述第一確定子單元用于基于所述候選分詞的詞性和詞頻，在所述候選分詞中確定關鍵分詞，得到所述待融合文本對對應的關鍵分詞。

可選的，在本申請的一些實施例中，所述第一確定子單元具體用于：

當所述候選分詞的詞性為預設詞性、且所述候選分詞的詞頻小于第一預設閾值時，將所述候選分詞確定為關鍵分詞。

可選的，在本申請的一些實施例中，所述第一確定模塊，包括：

選取子單元，所述選取子單元用于基于所述關鍵分詞從所述預設文本集中選取預選文本對；

第二分詞子單元，所述第二分詞子單元用于對所述預選文本對進行分詞處理，得到所述預選文本對對應的預選分詞；