[發明專利]一種基于查詢日志的數據處理方法和系統

有效

• 申請號: 201410026245.1
• 申請日: 2014-01-20
• 公開（公告）號: CN104794129B
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 楊國東;朱張斌;李群
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 黨曉林

本申請提供一種基于查詢日志的數據處理方法和系統。基于查詢日志的數據處理方法包括：獲取預定時間段搜索引擎的部分或全部的查詢日志；對所述查詢日志中查詢請求的多元共現片段進行頻次的統計；對每一多元共現片段，利用該多元共現片段在元數更高的共現片段中的出現頻次對所述多元共現片段的頻次進行修正；根據多元共現片段的元數及頻次選取一個或一個以上多元共現片段；將選取的多元共現片段及其對應的查詢結果存儲起來。本申請基于查詢日志的數據處理系統實施例，可以實現本申請基于查詢日志的數據處理方法。利用本申請提供的數據處理方法和系統，可以提高存儲內容的查詢請求命中率，提升搜索引擎的性能。

技術領域

本發明涉及搜索領域，特別涉及一種基于查詢日志的數據處理方法和系統。

背景技術

搜索引擎，可以借助互聯網，對各種信息進行整理、篩選或歸檔等處理，以為用戶提供預期得到的信息。

很多情況下搜索條件會特別復雜，提供搜索服務要求搜索引擎具備更高的性能。一種提高性能的方式是通過對查詢請求的相關數據進行處理來提高搜索引擎的每秒查詢率（QPS， Query Per Second）。

提高QPS的數據處理方法較常用的為查詢語句預存法。提供搜索服務的搜索引擎，會收到很多客戶端發來的查詢請求。例如，客戶端發起的查詢請求中，查詢內容為“中國人民大學”，這樣的查詢請求稱為query。搜索引擎一般會將接收到的查詢請求存儲起來作為查詢日志（query log）。對于查詢日志中提出過頻次相對較高的查詢請求稱為高頻查詢請求。該方法中，首先挖掘查詢日志（query log）里面的高頻查詢請求。搜索引擎為了對此后收到的類似查詢請求快速處理并反饋，從而將之前提出過的高頻查詢請求及其查詢結果完整的存儲起來。這樣,當搜索引擎接收到同樣的查詢請求時，可以將前述查詢對應的結果直接返回至客戶端。

在實現本申請過程中，發明人發現現有技術中至少存在如下問題：

上述數據處理方法中，存儲的是整個高頻query，當再次接收到的查詢請求與原來存儲的高頻查詢請求僅有部分相同但不完全相同時，之前存儲的高頻查詢請求及其對應的查詢結果完全不能為新的查詢請求的處理過程直接利用。例如存儲了查詢內容為“中國人民大學”的查詢請求及對應的查詢結果，當再次接收到的查詢請求的內容為“中國人民”時，之前存儲的內容為“中國人民大學”的查詢請求及存儲的對應查詢結果應該可以作為查詢請求內容為“中國人民”的部分結果。但是按照現有技術的方式，由于查詢請求的內容不完全相同，導致搜索引擎不能直接利用“中國人民大學”的查詢結果，而需要重新完整地執行查詢過程。基于上述原因，存儲的查詢請求及其對應查詢結果的命中率不高。

發明內容

本申請的目的是提供一種基于查詢日志的存儲方法，以實現提高存儲內容的查詢請求命中率。

一種基于查詢日志的數據處理方法，包括：

獲取預定時間段中搜索引擎的部分或全部的查詢日志；

對所述查詢日志中的查詢請求的多元共現片段頻次進行統計；

對于每一多元共現片段，利用該多元共現片段在元數更高的共現片段中的出現頻次對所述多元共現片段的頻次進行修正；

根據多元共現片段的元數及頻次選取一個或一個以上多元共現片段；

將選取的多元共現片段及其對應的查詢結果存儲起來。

優選方案中，所述對多元共現片段頻次進行統計，包括：對每一查詢請求設置一個標識，利用所述標識統計每一共現片段在查詢日志的查詢請求中出現的頻次；所述的標識具有唯一性。