[發明專利]一種文本檢索方法及裝置

在審

• 申請號: 202011109750.4
• 申請日: 2020-10-16
• 公開（公告）號: CN112417091A
• 公開（公告）日: 2021-02-26
• 發明（設計）人: 王志光;姚登科;王君
• 申請（專利權）人: 北京斗米優聘科技發展有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/9535
• 代理公司: 北京航信高科知識產權代理事務所(普通合伙) 11526
• 代理人: 劉傳準

本申請提供了一種文本檢索方法及裝置，屬于文本搜索技術領域。所述方法包括獲取待搜索文本的關鍵詞；計算所述待搜索文本的各關鍵詞的權重，構建由待搜索文本的各關鍵詞的權重與對應的關鍵詞構成的二維查詢向量；在包含所有文本的索引庫中查詢與所述待搜索文本的至少一個關鍵詞匹配的目標文本；獲取預置在所述索引庫中的所述目標文本的各關鍵詞的權重，構建由所述目標文本的各關鍵詞的權重與對應的關鍵詞構成的二維目標向量；根據所述二維查詢向量與所述二維目標向量的余弦相似度確定最終目標文本。本申請提高了整體檢索效率，同時提高了檢索命中率。

技術領域

本申請屬于文本搜索技術領域，特別涉及一種文本檢索的方法及裝 置。

背景技術

隨著國際互聯網在中國的普及，中國的網絡招聘領域表現出了蓬勃 發展之勢。迅速增長的網絡招聘規模在給求職者帶來更多的選擇機會的 同時，也增加了求職者搜索所需要職位的成本。

現有的招聘類app簡化了人們獲取職位信息的方式，但其普遍存在推 薦過多與用戶自身職位有一定相似性、但不是用戶期望的職位信息，或 者通過一些可以設置的，但篩選方式比較簡單的方式去除少量不符合期 望的職位信息，后續仍然有大量的不符合期望的職位信息需要用戶自己 篩選去除，在這個過程中用戶花費大量的時間和精力去查看并去除許多 跟自身期望不相關的數據信息，浪費用戶的時間和精力。

除了檢索結果不盡人意之外，檢索速度過慢也給用戶帶來了不好的 app使用體驗。現有的職位檢索采用傳統的DB檢索方案，是基于單數據 片、B+樹索引、硬盤持久化的檢索方法，這種方法來的問題是：

數據體量，當單片數據達到千萬級后，查詢速度下降明顯

索引方法，正排索引對非結構化數據支持效率低

硬盤訪問速度，不管是機械硬盤還是SSD，都滿足線上實時的檢索 需求。

發明內容

為了解決上述技術問題至少之一，本申請提供了一種文本檢索方法 及裝置，用于提高檢索效率以及檢索命中率。

本申請第一方面提供了一種文本檢索方法，包括：獲取待搜索文本 的關鍵詞；計算所述待搜索文本的各關鍵詞的權重，構建由待搜索文本 的各關鍵詞的權重與對應的關鍵詞構成的二維查詢向量；在包含所有文 本的索引庫中查詢與所述待搜索文本的至少一個關鍵詞匹配的目標文 本；獲取預置在所述索引庫中的所述目標文本的各關鍵詞的權重，構建 由所述目標文本的各關鍵詞的權重與對應的關鍵詞構成的二維目標向 量；根據所述二維查詢向量與所述二維目標向量的余弦相似度確定最終 目標文本。

優選的是，在索引庫中查詢目標文本之前，進一步包括構建所述索 引庫，構建所述索引庫包括：對所有待入庫的文本構建倒排索引，所述 倒排索引至少包括由關鍵詞以及所述關鍵詞所在的待入庫的文本的編號 集合所形成的索引表；計算所有待入庫的文本的各關鍵詞的權重。

優選的是，所述待搜索文本的各關鍵詞的權重與所述索引庫中的所 有文本的各關鍵詞的權重的計算方法相同，該計算方法包括：對各關鍵 詞，確定該關鍵詞在對應文本中的詞頻，以及確定該關鍵詞的逆向文件 頻率，所述逆向文件頻率是指包含該關鍵詞的文本占所有文本的頻率的 一個反比參數；由所述詞頻與所述逆向文件頻率的乘積作為該關鍵詞的 權重。

優選的是，確定最終目標文本包括：對所有目標文本，計算其對應 的二維目標向量與所述待搜索文本所對應的二維查詢向量的余弦相似 度，對余弦相似度計算結果由大到小進行排序；選取排序靠前的指定數 量的余弦相似度所對應的目標文本作為所述最終目標文本。

優選的是，所述索引庫包括多個，據此，在確定最終目標文本時進 一步包括：對滿足條件的索引庫并行處理，獲得每個索引庫返回的所述 指定數量的預處理目標文本；合并各索引庫的預處理目標文本并按余弦 相似度計算結果由大到小進行排序；選取排序靠前的指定數量的余弦相 似度所對應的目標文本作為所述最終目標文本。