[發明專利]更新網頁存儲的方法、設備、網頁存儲系統和搜索系統

在審

• 申請號: 201710065766.1
• 申請日: 2017-02-06
• 公開（公告）號: CN106844706A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 蔡迥航
• 申請（專利權）人: 廣東神馬搜索科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京博雅睿泉專利代理事務所(特殊普通合伙)11442
• 代理人: 楊國權,馬佑平

1.一種用于更新網頁存儲的方法，包括：

檢測網頁存儲系統的第一哈希表的沖突率，其中，所述第一哈希表存儲網頁數據；

在沖突率大于更新閾值的情況下，創建第二哈希表，其中，第二哈希表的容量大于第一哈希表；以及

以多次遷移處理將第一哈希表中網頁數據遷移到第二哈希表中，其中，在每次遷移處理中，將第一哈希表中網頁數據的一部分遷移到第二哈希表中。

2.根據權利要求1所述的方法，其中，所述沖突率是哈希表中當前實際容納的網頁數據所占用的哈希桶數與哈希表中的全部哈希桶數的比值，所述更新閾值是關于所述比值的閾值。

3.根據權利要求1所述的方法，其中，所述沖突率是所述第一哈希表中當前實際存儲的網頁數據所占用的哈希桶數，以及所述更新閾值是關于哈希桶數的閾值。

4.根據權利要求1所述的方法，其中，以多次遷移處理將第一哈希表中網頁內容遷移到第二哈希表中還包括：

當接收到查詢時將第一哈希表中網頁數據遷移到第二哈希表中。

5.根據權利要求4所述的方法，其中，當接收到查詢時將第一哈希表中網頁數據遷移到第二哈希表中還包括：

在第一哈希表中設置遷移游標i，其中，遷移游標i指示當前要被遷移的網頁數據元素；以及

當接收到查詢時將遷移游標i所指示的網頁數據元素遷移到第二哈希表。

6.根據權利要求5所述的方法，其中，所述當前要被遷移的網頁數據元素包括一個或多個哈希桶對應的元素或一個哈希桶中的一個或多個元素。

7.根據權利要求1所述的方法，其中，在遷移過程中，新的網頁數據被寫入到第二哈希表中。

8.根據權利要求1所述的方法，還包括：

從第二哈希表讀取網頁數據；以及

當在第二哈希表中未找到到相關網頁數據的情況下從第一哈希表讀取網頁數據。

9.根據權利要求1所述的方法，其中，以多次遷移處理將第一哈希表中網頁內容遷移到第二哈希表中還包括：

將來自第一哈希表的網頁數據寫入文件緩存中；以及

在寫入文件緩存的網頁數據量大于緩存閾值的情況下，將文件緩存中的網頁數據寫入到第二哈希表。

10.根據權利要求9所述的方法，還包括：

當將文件緩存中的網頁數據寫入到第二哈希表時，在第二哈希表中的網頁數據文件的長度大于文件緩存中相應的網頁數據文件的長度的情況下，讀取文件緩存中的所述網頁數據文件。

11.根據權利要求1所述的方法，其中，所述網頁數據包括網頁摘要。

12.根據權利要求1所述的方法，其中，所述網頁存儲系統是網頁搜索系統的存儲系統。

13.一種用于更新網頁存儲的設備，包括：

用于檢測網頁存儲系統的第一哈希表的沖突率的裝置，其中，所述第一哈希表存儲網頁數據；

用于在沖突率大于更新閾值的情況下創建第二哈希表的裝置；以及

用于以多次遷移處理將第一哈希表中網頁數據遷移到第二哈希表中的裝置，其中，在每次遷移處理中，將第一哈希表中網頁數據的一部分遷移到第二哈希表中。

14.一種網頁存儲系統，包括根據權利要求13所述的用于更新網頁存儲的設備。

15.一種網頁存儲系統，包括：存儲器和處理器，其中，所述存儲器包括機器可執行指令，當所述網頁存儲系統運行時，所述機器可執行指令用于控制所述處理器執行根據權利要求1-12中的任何一項所述的方法中的處理。

16.一種網頁搜索系統，包括根據權利要求14或15所述的網頁存儲系統，用于存儲網頁數據，以供檢索。