[發明專利]一種文檔相似段落的標記查詢方法、系統、設備及存儲介質

在審

• 申請號: 202110388914.X
• 申請日: 2021-04-12
• 公開（公告）號: CN113139374A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 劉俊辰;尤旸
• 申請（專利權）人: 北京明略昭輝科技有限公司
• 主分類號: G06F40/194
• 分類號: G06F40/194;G06F16/335;G06F16/338;G06F40/205;G06F40/284;G06F40/289
• 代理公司: 青島清泰聯信知識產權代理有限公司 37256
• 代理人: 趙燕

本發明公開了一種文檔相似段落的標記查詢方法、系統、設備及存儲介質，上述方法包括：判斷標記文本的長度是否大于第一長度閾值；若標記文本的長度小于第一長度閾值，則根據標記文本對文檔庫中的文檔進行匹配獲得查詢結果并輸出；或；若標記文本的長度大于第一長度閾值，則將文檔庫中的文檔進行段落分割后通過相似度比較獲得查詢結果并輸出。本發明將標記文本按照長度不同分為不同種類的標記文本，針對不同長度的標記文本采用不同的匹配策略，使查詢結果更加準確。

技術領域

本發明涉及數據分析技術領域，尤其涉及一種文檔相似段落的標記查詢方法、系統、設備及存儲介質。

背景技術

如今，很多企業都有大量的文檔文本數據，包括產品手冊，商業合同，部署文檔等等專業性很強的文檔。而為了便于統一管理，很多公司都會將這些文檔數據集中起來，并且提供查詢，閱讀，推薦等智能化服務。通過提供文本相似段落的自動查詢匹配服務可以幫助用戶更好的利用文檔庫中的文本資源，提升文檔資源的價值。文本相似段落自動查詢匹配服務的基本功能是：用戶在閱讀時手動標記一段文字，標記后，系統通過使用NLP等相關技術，在后臺從文檔庫的所有文檔中自動匹配與標記段落內容相似的段落返回給用戶。用戶可以根據匹配結果找到內容相似的段落或文本作為參考。

現有技術大部分是類似于文本查重的解決方案。例如SimHash，大致計算過程如下：

1.對文檔提取特征及特征對應的權重；

2.對特征進行hash，生成對應的hash值；

3.hash值加權：對特征hash值的每一位做循環處理：如果該位值為1，則用weight代替，否則，用-weight代替；

4.求和：將特征hash加權后的結果，按位求和，然后將結果按位二值化：大于0則為1，否則為0，即得到最后的SimHash值。

得到文檔的SimHash值后，計算兩篇文檔SimHash值的海明距離，作為兩篇文檔的相似度。

但是，SimHash本身是Google用于對海量網頁去重的算法，適用于整篇文檔的相似性計算。而對于較短的文本段落，SimHash往往不能達到很好的效果。此外，SimHash并沒有將文本的語義信息考慮進去，對于如中文這種表述方式非常靈活的語言環境，并且僅僅是同樣涉及某一個或幾個概念，而非大段內容相似的情況，SimHash無法得到準確的相似性結果。

發明內容

本發明針對上述的現有技術無法針對較短的文本段落進行相似性計算以及沒有考慮文本的語義信息的技術問題，提出一種文檔相似段落的標記查詢方法、系統、設備及存儲介質。

第一方面，本申請實施例提供了一種文檔相似段落的標記查詢方法，包括：

長度判斷步驟S1：判斷標記文本的長度是否大于第一長度閾值；

查詢結果獲得步驟S2：若所述標記文本的長度小于所述第一長度閾值，則根據所述標記文本對文檔庫中的文檔進行匹配獲得查詢結果并輸出；或；

查詢結果獲得步驟S2'：若所述標記文本的長度大于所述第一長度閾值，則將文檔庫中的文檔進行段落分割后通過相似度比較獲得查詢結果并輸出。

上述文檔相似段落的標記查詢方法，其中，所述查詢結果獲得步驟S2包括：若所述標記文本的長度小于所述第一長度閾值，則在所述文檔庫中的全部文檔中搜索所述標記文本，將所述標記文本所在的句子、所述句子在文檔中的位置以及對應的文檔名作為查詢結果并輸出。

上述文檔相似段落的標記查詢方法，其中，所述查詢結果獲得步驟S2'包括：

分割步驟S21'：根據所述標記文本的長度對所述文檔進行段落分割獲得多個分割文本段落；