[發明專利]一種數據庫相似語句篩選的方法和裝置

有效

• 申請號: 201910092111.2
• 申請日: 2019-01-30
• 公開（公告）號: CN109829051B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 黃永江;邱志國;莊紀軍;張毅;趙乾
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F40/30;G06Q30/02
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王寶筠

本申請公開了一種數據庫相似語句篩選的方法和裝置，該方法包括：利用目標標準語句的多個目標擴展語句的語義向量和語義向量預期篩選各個目標擴展語句得到待質檢擴展語句；計算每個待質檢擴展語句的語義向量與數據庫中每個其他擴展語句的語義向量的相似度；其中，語義向量是通過語義度量模型得到的；基于相似度和第一預設篩選條件篩選各個待質檢擴展語句和各個其他擴展語句，得到相似待質檢擴展語句和對應的相似其他擴展語句。可見，僅篩選需質檢的目標擴展語句作為待質檢擴展語句，減小待質檢擴展語句數量；該自動相似語句篩選相較于人工篩選得到的篩選結果更加完善、準確，且節省人力、節約時間，提高篩選效率。

技術領域

本申請涉及數據處理技術領域，尤其涉及一種數據庫相似語句篩選的方法和裝置。

背景技術

隨著人工智能的快速發展，最能體現人工智能技術的智能客服系統應用越來越廣泛，智能客服系統的實現依賴于其核心“大腦”——知識庫。知識庫中的知識點一般采用“問-答”輸入-輸出形式，其中，表示知識點的文字輸入稱為標準語句，由標準語句擴展變形衍生的文字輸入稱為擴展語句，其與標準語句語義相同、文字略有差異。通常情況下知識庫包括多個標準語句，每個標準語句包括多個擴展語句。

不同標準語句的擴展語句可能相似(纏繞)，例如，標準語句1“套餐資費查詢”包括的擴展語句1“查詢我的套餐”與標準語句2“查詢套餐”包括的擴展語句2“我想查詢套餐”語義相似度較高，則擴展語句1與擴展語句2相似；當不同標準語句的多個擴展語句大多相似，則不同標準語句可能相似(混淆)。上述纏繞和混淆等問題，導致利用知識庫進行語義認知存在一定誤差，影響語義認知結果。因此，至少需要從知識庫篩選得到相似擴展語句以便對其進行優化。現有技術中，工作人員隨機抽取知識庫中部分句式，根據工作人員的經驗從抽取出的部分句式中人工篩選不同標準語句相似的擴展語句。

發明人經過研究發現，現有技術中工作人員隨機抽取的比例有限只能抽取部分句式，存在一定的漏檢風險；根據工作人員的經驗人工篩選需要投入大量的人力，耗費大量的時間，對工作人員的專業要求較高，篩選結果與工作人員的經驗相關性較大，最終導致篩選效率較低且篩選結果不夠完善、不夠準確。

發明內容

本申請所要解決的技術問題是，提供一種數據庫相似語句篩選的方法和裝置，使得篩選結果更加完善、準確，且節省人力、節約時間，提高篩選效率。

第一方面，本申請實施例提供了一種數據庫相似語句篩選的方法，該方法包括：

基于目標標準語句的多個目標擴展語句的語義向量和語義向量預期，從多個所述目標擴展語句中篩選獲得待質檢擴展語句；

獲得每個所述待質檢擴展語句的語義向量與數據庫中每個其他擴展語句的語義向量的相似度；

基于所述相似度和第一預設篩選條件，從各個所述待質檢擴展語句和各個所述其他擴展語句中篩選獲得相似待質檢擴展語句和對應的相似其他擴展語句。

可選的，所述基于目標標準語句的多個目標擴展語句的語義向量和語義向量預期，從多個所述目標擴展語句中篩選獲得待質檢擴展語句，包括：

利用預先訓練的語義度量模型獲得所述多個目標擴展語句的語義向量；

基于多個所述目標擴展語句的語義向量獲得語義中心向量；

獲得每個所述目標擴展語句的語義向量與所述語義中心向量的第一余弦距離；

基于所述第一余弦距離和第二預設篩選條件，從各個所述目標擴展語句篩選獲得所述待質檢擴展語句。

可選的，還包括：