[發明專利]一種對排序結果進行驗證的方法和系統

有效

• 申請號: 200910177226.8
• 申請日: 2009-09-27
• 公開（公告）號: CN101650746A
• 公開（公告）日: 2010-02-17
• 發明（設計）人: 余錦婷;徐雄;楊翊平
• 申請（專利權）人: 中國電信股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所
• 代理人: 宋海寧

技術領域

本發明屬于電信業務中的信息搜索應用技術領域，尤其涉及一種對排序結果進行驗證的方法和系統。

背景技術

在信息大爆炸的時代，用戶需要更準確定位所需分類信息，由此衍生出垂直搜索技術以滿足客戶日益增長變化的需求。為實現此目的，搜索引擎需要不斷根據客戶需求完善其自身的排序規則，使之做到準確、合理、高效。

大多數搜索產品在面臨新增排序需求或調整排序結果時，并不能較完美的滿足用戶需求，無法較好的按照客戶業務需求進行排序，搜索結果不盡如人意。急需在排序算法調整后對搜索結果的準確性做完備的驗證，但目前業內尚無較好的方法對搜索結果的排序進行衡量，主要存在如下問題：

1、大多情況下，搜索結果的排序效果需要依靠人工的方式進行驗證，再對比業務需求修改排序參數來優化排序效果，效率低。

2、對排序效果的判斷存在個人主觀性，無法完全客觀反映驗證實際情況。

3、對排序效果的衡量沒有可量化的標準，無法對各類排序算法或算法不同參數組合的排序結果進行自動對比。

發明內容

本發明提出一種對排序結果進行驗證的方法和系統，可以對多個搜索算法的效果進行比較，并提高檢驗排序結果的效率。

根據本發明的一個方面，提出一種對排序結果進行驗證的方法，包括以下步驟：搜索引擎根據要搜索的關鍵詞獲取搜索結果，并對搜索結果標注位置序號，得到用位置序號組成的搜索結果序列；將各搜索結果劃分成具有權重系數的多個信息文本，根據關鍵詞與信息文本的匹配次數以及信息文本的權重系數計算信息相關度r，r＝p1*w1+p2*w2+...+pn*wn，其中，p表示關鍵詞在字段中的匹配次數，w表示權重系數；根據對信息文本設定的業務條件和權重系數計算信息豐富度c，c＝F1*w1+F2*w2+F3*w3+...+Fn*wn，其中，w表示權重系數，F_n-1*w_n-1＞F_n*w_n；根據信息相關度和信息豐富度計算排序分數score＝r*+c*w′；按分數大小順序排列排序分數，并將搜索引擎搜索結果中的位置序號對應標注到各排序后分數，得到用位置序號組成的排序結果序列；計算用位置序號組成的排序結果序列與用位置序號組成的搜索結果序列的相似度；將相似度與配置的閾值進行比較，并記錄比較結果，在比較結果中包括相似度大于閾值的次數以及相似度小于閾值的次數；當比較結果中相似度大于閾值的次數大于設定次數，或者比較結果中相似度小于閾值的次數小于設定次數，搜索引擎的排序結果未通過驗證，否則通過驗證。

進一步，計算用位置序號組成的排序結果序列與用位置序號組成的搜索結果序列的相似度的操作，包括以下步驟：計算排序結果序列中位置序號與搜索結果序列中相應位置的位置序號的差值的絕對值；將各計算結果進行加和運算得到相似度。

進一步，計算差值的絕對值的操作，還包括對各差值的絕對值配以權重系數的步驟。

進一步，計算用位置序號組成的排序結果序列與用位置序號組成的搜索結果序列的相似度的操作，包括以下步驟：計算排序結果序列中兩個位置序號的差值的絕對值，并將各計算結果進行加和運算得到絕對排序結果序列；計算搜索結果序列中相應位置的兩個位置序號的差值的絕對值，并將各計算結果進行加和運算得到絕對搜索結果序列；將絕對排序結果序列與絕對搜索結果序列的差值的絕對值作為相似度。

進一步，將相似度與配置的閾值進行比較，并記錄比較結果的操作，包括以下步驟：判斷相似度是否大于配置的閾值，如果是，將記錄結果中相似度大于閾值的次數加1，否則，將相似度小于閾值的次數加1；或者判斷相似度與配置的閾值的差值的絕對值是否在設定范圍內，如果是，將記錄結果中相似度小于閾值的次數加1，否則，將記錄結果中相似度大于閾值的次數加1。

進一步，將搜索引擎搜索結果中的位置序號對應標注到各排序后分數的操作，還包括以下步驟：當計算得到的排序分數相同時，將位置序號在搜索結果序列中的排列順序按照排序分數的排列順序標注到對應的各排序后分數。