[發明專利]一種文檔獲取方法及裝置

在審

• 申請號: 201711148155.X
• 申請日: 2017-11-17
• 公開（公告）號: CN107943908A
• 公開（公告）日: 2018-04-20
• 發明（設計）人: 王偉亮
• 申請（專利權）人: 鄭州云海信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京安信方達知識產權代理有限公司11262
• 代理人: 李紅爽,李丹

技術領域

本發明涉及互聯網技術，尤指一種文檔獲取方法及裝置。

背景技術

如今是一個信息大爆炸的時代，據統計全球的數據量正以平均年增長率為50％的速度增長，其中當前數據總量的80％都是最近兩年產生的。目前每天全球互聯網流量累計達1EB(即10億GB或1000PB)，其中，人們一天上傳的照片數量相當于柯達發明膠卷后拍攝的圖片總和。這些數據已經滲透到社會經濟、大眾日常生活的各個角落。如何在數據海洋中獲取用戶需要的信息，要依賴的工具就是搜索引擎。搜索引擎是指根據一定的策略、運用特定的計算機程序從互聯網上搜集信息，在對信息進行組織和處理后，為用戶提供檢索服務，將用戶檢索相關的信息展示給用戶的系統。

搜索引擎聚合了眾多網站信息，起到了信息導航的作用。通用搜索引擎實現了大量的信息整合與導航，極快的查詢，迅速成為互聯網中最有價值的領域。垂直搜索是針對通用搜索信息量大、查詢不準確、深度不夠等缺點提出來的新的服務模式，是搜索引擎的細分和延伸，垂直搜索能夠針對某一特定領域、某一特定人群或某一特定需求提供的搜索服務。

搜索引擎的核心模塊通常包括爬蟲、索引、檢索和排序這四個步驟。其中，在檢索時，具體包括：在倒排索引的所有倒排拉鏈中選定倒排拉鏈，串行遍歷所有選定的倒排拉鏈，對所有選定的倒排拉鏈進行去重處理，在選定的倒排拉鏈中的一個倒排拉鏈開始截取預先設置的數量的文檔，該預先設置的數量是需要截取的文檔的總數量。在檢索完對截取的文檔進行排序，并將排序后的文檔展示到網頁上。但是，由于受到截取文檔的總數量的限制，并不會截取所有選定的倒排拉鏈中的文檔，導致了在一部分選定的倒排拉鏈中獲取文檔，相應地就出現了未從另一部分選定的倒排拉鏈中獲取文檔，即未被截取文檔的倒排拉鏈被放棄，如果截取文檔的倒排拉鏈的質量不好，而被放棄的倒排拉鏈的質量比較好，這就會導致最終展示給用戶的文檔的質量并不高。

發明內容

本發明實施例提供了一種檢索方法及裝置，能夠提高從倒排拉鏈中獲取文檔的質量。

為了達到本發明目的，本發明實施例提供了一種文檔獲取方法，包括：

確定從倒排索引中選定的每個倒排拉鏈對應的文檔數量；

對于選定的每個倒排拉鏈，從所述倒排拉鏈中獲取所述倒排拉鏈對應的文檔數量的文檔。

可選地，所述獲取所述倒排拉鏈對應的預設文檔數量的文檔之前，文檔獲取方法還包括：

調用兩個或兩個以上線程，以通過調用的兩個或兩個以上線程分別對所述選定的兩個或兩個以上倒排拉鏈執行所述獲取的步驟。

可選地，所述獲取所述倒排拉鏈對應的文檔數量的文檔之后，文檔獲取方法還包括：

若所述倒排拉鏈中文檔的總數量大于所述倒排拉鏈對應的文檔數量，則將所述倒排拉鏈標識為第一類倒排拉鏈；若所述倒排拉鏈中文檔的總數量小于所述倒排拉鏈對應的文檔數量，則將所述倒排拉鏈標識為第二類倒排拉鏈；

對于每個第二類倒排拉鏈，計算所述第二類倒排拉鏈中文檔的總數量和所述第二類倒排拉鏈對應的文檔數量之間的差額，根據計算出的差額，從第一類倒排拉鏈的未被獲取到的文檔中獲取文檔。

可選地，所述獲取所述倒排拉鏈對應的文檔數量的文檔，包括：

按照所述倒排拉鏈中文檔的特征，對所述倒排拉鏈中的文檔進行排序；

從所述倒排拉鏈的排序后的文檔中截取所述倒排拉鏈對應的文檔數量的文檔。

可選地，所述確定從倒排索引中選定的每個倒排拉鏈對應的文檔數量，包括：

計算預先設置的需要獲取的文檔總數量除以所述選定的倒排拉鏈總數量；

若計算的結果為整數，則將計算的結果作為所述選定的每個倒排拉鏈對應的文檔數量；

若計算的結果為小數，則根據預先設置的策略設置所述選定的每個倒排拉鏈對應的文檔數量。

本發明實施例提供了另一種文檔獲取裝置，包括：

確定模塊，用于確定從倒排索引中選定的每個倒排拉鏈對應的文檔數量；

第一獲取模塊，用于對于選定的每個倒排拉鏈，從所述倒排拉鏈中獲取所述倒排拉鏈對應的文檔數量的文檔。

可選地，文檔獲取裝置還包括：

調用模塊，用于調用兩個或兩個以上線程；

所述第一獲取模塊用于，通過調用的兩個或兩個以上線程對所述選定的兩個或兩個以上倒排拉鏈執行所述獲取的步驟。

可選地，文檔獲取裝置還包括：