[發明專利]快速迭代的搜索引擎排序方法及系統

在審

• 申請號: 201611149705.5
• 申請日: 2016-12-13
• 公開（公告）號: CN106777088A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 張洪巖;黃永軍;王金明
• 申請（專利權）人: 飛狐信息技術（天津）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 天津創智天誠知識產權代理事務所(普通合伙)12214
• 代理人: 周慶路,田陽

技術領域

本發明涉及搜索排序技術領域，特別是涉及一種快速迭代的搜索引擎排序方法及系統。

背景技術

隨著大數據技術的快速發展，搜索引擎系統中對特征的使用越來越深入，文本相關性、網頁PageRank值和URL鏈接長度都是很好的排序特征。選取的特征越多，越有可能客觀的反應用戶的行為偏好。Google的搜索引擎排序系統更是使用了多達200余種特征，并且這些特征并不是簡單的線性相加，而是通過復雜的神經網絡來表征，這樣不僅能充分利用文檔的每個特征，還能利用特征與特征之間的關系。然而此時指望人工擬合出各特征的權重甚至復雜的神經網絡模型已經變得不現實，排序學習技術變應運而生。

排序學習基于傳統的機器學習技術，把文檔是否相關和文檔在各維度上的取值或神經網絡的參數作為訓練樣本，與文檔實際的相關性比較設定損失函數，再基于最優化技術如梯度下降等使損失函數最小。這樣就能夠在大量的數據中，根據每篇文檔和查詢的相關性以及每篇文檔各個特征上的得分，計算出優化的搜索引擎排序公式。

算法的訓練分為在線訓練和離線訓練兩種。在線訓練的全部過程由計算機程序完成，訓練開始時讀取用戶點擊記錄生成訓練集，然后用預先寫好的訓練算法訓練出排序模型，更新線上排序算法，最后根據計算好的評價指標人工評價算法性能。這種訓練方法的實現自動化程度更高、不易出故障，人工干預較少。但是訓練過程中較為重要的交叉驗證過程不得不省略，因為計算機很難根據交叉驗證結果給出合適的解決方案。離線學習由人工控制學習的時間、參數等，可以在模型上線以前判斷模型是否合適，并能根據交叉驗證結果動態調整訓練參數，保證上線算法的質量。但是離線學習算法每次算法模型的更新都需要中斷服務，流程較為繁瑣，使項目的迭代周期大幅延長。

發明內容

本發明的目的是針對現有技術中存在的技術缺陷，而提供一種快速迭代的搜索引擎排序方法及系統。

為實現本發明的目的所采用的技術方案是：

一種快速迭代的搜索引擎排序方法，包括離線步驟和在線步驟，

所述的離線步驟包括，

訓練出多個候選上線排序模型，

對各排序模型存儲和比例分配，定時將排序模型及比例存入搜索服務器緩存數據庫以備在線步驟讀取；

所述的在線步驟包括，

接收用戶請求并根據用戶信息分配排序模型，

從索引中檢索出相關文件，讀取搜索服務器緩存數據庫中的排序模型并計算排序然后返回給用戶，

統計本次用戶的搜索行為。

定時將排序模型及比例存入搜索服務器的key-value數據庫。

所述的訓練出多個候選上線排序模型包括以下子步驟，

收集用戶點擊記錄，

根據用戶點擊記錄還原用戶搜索場景生成訓練數據，

采用預定的不同算法和訓練參數訓練出多個候選上線排序模型。

所述的在線步驟根據用戶的cookie為用戶分配排序模型以保證同一個用戶分配固定的排序模型。

所述的搜索行為包括用戶查詢詞、用戶點擊的文件和該文件在輸出文件列表中的位置。

一種快速迭代的搜索引擎排序系統，包括，

包括離線模塊和在線模塊，

所述的離線模塊包括，

訓練子模塊，用以訓練出多個候選上線排序模型，

模型管理子模塊，用以對各排序模型存儲和比例分配，并定時將排序模型及比例存入搜索服務器緩存數據庫以備在線模塊讀取；

所述的在線步驟包括，

A/B測試子模塊，用以接收用戶請求并根據用戶信息分配排序模型，

信息檢索子模塊，用以從索引中檢索出相關文件，根據排序模型計算排序然后返回給用戶，

統計子模塊，用以統計本次用戶的搜索行為。

定時將排序模型及比例存入搜索服務器的key-value數據庫。

所述的訓練子模塊，

收集模塊，用以收集用戶點擊記錄，

信息處理模塊；用以根據用戶點擊記錄還原用戶搜索場景并生成訓練數據，

生成模塊，用以采用預定的不同算法和訓練參數訓練出多個候選上線排序模型。

所述的在線步驟根據用戶的cookie為用戶分配排序模型以保證同一個用戶分配固定的排序模型。

所述的搜索行為包括用戶查詢詞、用戶點擊的文件和該文件在輸出文件列表中的位置。

與現有技術相比，本發明的有益效果是：