[發明專利]檢索速度優化方法

有效

• 申請號: 201910231353.5
• 申請日: 2019-03-26
• 公開（公告）號: CN109977334B
• 公開（公告）日: 2023-10-20
• 發明（設計）人: 潘杰;曹建軍
• 申請（專利權）人: 浙江度衍信息技術有限公司
• 主分類號: G06F16/957
• 分類號: G06F16/957;G06F16/958
• 代理公司: 北京方圓嘉禾知識產權代理有限公司 11385
• 代理人: 董芙蓉

本發明提供一種檢索速度優化方法，針對每個檢索項目，分別建立對應的多個存儲文件，采用對應的多個線程將該檢索項目下的各個數據寫入對應存儲文件中；針對有規律可循的檢索項目，將對應的多個存儲文件合并成一個存儲文件，在合并形成的存儲文件中數據按序排列；在檢索時基于合并形成的存儲文件，根據輸入的檢索條件進行檢索。本發明采用多線程多文件寫入數據的方式，可以提高寫入效率；本發明通過針對有規律可循的檢索項目，將對應的多個存儲文件合并成一個存儲文件，使數據在合并形成的存儲文件中按序排列，基于合并形成的存儲文件進行檢索，可以在利用多線程多文件寫入方式提高寫入效率的同時，保證檢索效率。

技術領域

本發明屬于信息檢索領域，具體涉及一種檢索速度優化方法。

背景技術

隨著大數據時代的到來，如何利用搜索引擎快速準確地從龐大的數據庫中檢索出自己需要的數據成為人們研究的熱點。目前搜索引擎通常包括抓取、收錄、篩選和展示四個主要部分，傳統的搜索引擎普遍存在寫入效率和檢索效率較低的問題。

發明內容

本發明提供一種檢索速度優化方法，以解決目前搜索引擎寫入和檢索效率較低的問題。

根據本發明實施例的第一方面，提供一種檢索速度優化方法，包括：

針對每個檢索項目，分別建立對應的多個存儲文件，采用對應的多個線程將該檢索項目下的各個數據寫入對應存儲文件中；

針對有規律可循的檢索項目，將對應的多個存儲文件合并成一個存儲文件，在合并形成的存儲文件中數據按序排列；在檢索時基于合并形成的存儲文件，根據輸入的檢索條件進行檢索。

在一種可選的實現方式中，針對text文本格式的檢索項目，對該檢索項目下存儲的第一文本數據進行分詞處理，生成多個第一詞語，對輸入的檢索條件中的第二文本數據進行分詞處理，生成多個第二詞語，針對每個第二詞語，將該第二詞語與所述多個第一詞語分別進行匹配檢索，從而獲得與該檢索條件中第二文本數據匹配的第一文本數據。

在另一種可選的實現方式中，在輸入檢索條件后，對檢索條件進行字段條件合并或字段的邏輯值合并；

根據合并后的檢索條件進行檢索。

在另一種可選的實現方式中，針對空間占用量較少的檢索項目，在檢索之前將該檢索項目下的數據預加載到內存中。

在另一種可選的實現方式中，根據檢索項目下數據的特征，設置各個檢索項目下數據的存儲格式類型。

在另一種可選的實現方式中，在寫入一條完整的數據信息時，針對該條數據信息在每個檢索項目下的數據，首先判斷該檢索項目下是否存在空閑線程，若存在空閑線程，則調用任一空閑線程，將該數據信息在該檢索項目下的數據寫入與調用線程對應的存儲文件中，在該數據寫完成后寫入分割符，并將該調用線程置為空閑。

在另一種可選的實現方式中，針對各個檢索項目中允許輸入字段較長的檢索項目，線程分為主線程和備用線程，并建立與該備用線程對應的臨時存儲文件，對比于允許輸入字段長度比其短的檢索項目，其線程總數更大；

在寫入一條完整的數據信息時，針對該條數據信息在每個檢索項目下的數據，首先判斷該檢索項目下是否存在空閑主線程，若存在空閑主線程，則調用任一空閑主線程，將該數據信息在該檢索項目下的數據寫入與調用主線程對應的存儲文件中，在該數據寫完成后寫入分割符，并將該調用主線程置為空閑主線程；若該檢索項目下不存在空閑主線程，則將寫入請求從對應隊列的后端插入，并啟動對應計時器；判斷該計時器是否超過對應時長，若是，則啟用空閑的備用線程，采用該備用線程將該數據信息在該檢索項目下的數據寫入對應的臨時存儲文件中，在該數據寫完后寫入分割符，并將該備用線程置為空閑。

在另一種可選的實現方式中，通過對所述備用線程的數量和/或所述對應時長進行調整，來對整條數據信息的寫入時長進行調控，從而對數據庫的更新速度進行調控。