[發明專利]一種搜索引擎的檢索結果評價方法及裝置、計算機可讀介質

有效

• 申請號: 201710293371.7
• 申請日: 2017-04-26
• 公開（公告）號: CN107122467B
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 李悅
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958
• 代理公司: 深圳協成知識產權代理事務所(普通合伙) 44458
• 代理人: 章小燕

本發明公開了一種搜索引擎的檢索結果評價方法及裝置、計算機可讀介質，旨在解決現有的搜索引擎的檢索結果評價方法缺乏通用性和客觀性的問題。該方法包括以下步驟：獲取檢索結果頁中對檢索結果內容位置的點擊數據，并以對應所述檢索結果內容位置的點擊率為位置得分；將根據所述位置得分，通過衡量搜索引擎質量指標(DCG)評價模型獲得每一檢索結果頁的衡量搜索引擎質量指標(DCG)評價分數；根據搜索引擎的前K項(TOPK)搜索排序結果，結合所述每一檢索結果頁的衡量搜索引擎質量指標(DCG)評價分數；獲得所述前K項(TOPK)搜索排序結果對應的衡量搜索引擎質量指標(DCG)總體評價分數。

技術領域

本發明涉及網絡通信技術領域，尤其涉及一種搜索引擎的檢索結果評價方法及裝置、計算機可讀介質。

背景技術

搜索引擎指自動從因特網搜集信息，經過一定整理以后，提供給用戶進行查詢的系統。因特網上的信息浩瀚萬千，而且毫無秩序，所有的信息像汪洋上的一個個小島，網頁鏈接是這些小島之間縱橫交錯的橋梁，而搜索引擎，則為用戶繪制一幅一目了然的信息地圖，供用戶隨時查閱。它們從互聯網提取各個網站的信息(以網頁文字為主)，建立起數據庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果。全文搜索引擎是目前廣泛應用的主流搜索引擎，國外代表搜索是Google，國內則有最大中文搜索百度。它們從互聯網提取各個網站的信息(以網頁文字為主)，建立起數據庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果。

由于互聯網信息檢索技術的快速發展，各種搜索引擎層出不窮，一方面為用戶檢索信息提供了便利，另一方面也使許多用戶感到無所適從，不知道如何選擇合適的檢索引擎，因而提出了評價搜索引擎的要求。通過對搜索引擎進行合理的評價，不僅有利于用戶的選擇與使用，而且有利于其本身的改進和發展。現有主要的搜索引擎評價方法之一是Cranfield評價體系：Cranfield-like approach這個名稱來源于英國CranfieldUniversity，因為在二十世紀五十年代該大學首先提出了這樣一套評價系統：由查詢樣例集、正確答案集、評測指標構成的完整評測方案，并從此確立了“評價”在信息檢索研究中的核心地位。Cranfield評價系統在各大搜索引擎公司內有廣泛的應用。具體應用時，首先需要解決的問題是構造一個測試用查詢詞集合。常用的搜索引擎評價方法還包括Precision-Recall(準確率-召回率)方法、P@N方法、DCG(衡量搜索引擎質量指標)方法等。

但是，現有的搜索引擎搜索效果的在線評估，多和業務相關，即對在線用戶進行某種規則的分流，將用戶導向不同服務版本，并最終以和業務強相關的購買轉化率、下載轉化率、音樂播放轉化率作為評價指標，來評估不同版本的搜索效果好壞，業務結合太緊密，不夠通用。

同時，現有的搜索引擎搜索效果的DCG(衡量搜索引擎質量指標)評價算法多用于線下評價，且為為數不多的幾個測試同事進行評價打分為主，主觀性太強，導致線下搜索評價結果不理想、不客觀。

發明內容

本發明的主要目的在于提出一種搜索引擎的檢索結果評價方法及裝置、計算機可讀介質，旨在解決現有的搜索引擎的檢索結果評價方法缺乏通用性和客觀性的問題。

為實現上述目的，本發明提供的一種搜索引擎的檢索結果評價方法，該方法包括以下步驟：

獲取檢索結果頁中對檢索結果內容位置的點擊數據，并以對應所述檢索結果內容位置的點擊率為位置得分；

將根據所述位置得分，通過衡量搜索引擎質量指標(DCG)評價模型獲得每一檢索結果頁的衡量搜索引擎質量指標(DCG)評價分數；

根據搜索引擎的前K項(TOPK)搜索排序結果，結合所述每一檢索結果頁的衡量搜索引擎質量指標(DCG)評價分數；獲得所述前K項(TOPK)搜索排序結果對應的衡量搜索引擎質量指標(DCG)總體評價分數。