[發明專利]搜索質量評估方法及裝置

有效

• 申請號: 201610645103.2
• 申請日: 2016-08-09
• 公開（公告）號: CN107704467B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 曹皓;張亮;齊志宏;賈晉康;覃安
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/9535
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆;胡彬

本發明實施例公開了一種搜索質量評估方法及裝置，所述方法包括：基于用戶歷史搜索記錄數據構造搜索質量評估數據庫，所述搜索質量評估數據庫包含至少一個查詢關鍵詞、對應的至少一個搜索結果項以及針對所述搜索結果項的用戶操作特征數據；針對所述至少一個查詢關鍵詞中的每個查詢關鍵詞，基于基線搜索策略和待評估搜索策略，分別對所述搜索質量評估數據庫中的對應搜索結果項進行排序得到第一排序結果和第二排序結果；基于所述用戶歷史操作特征數據、所述第一排序結果和所述第二排序結果對所述待評估搜索策略的搜索質量進行評估。本發明實施例使整個評估過程完全自動化，以降低人工成本及人工干擾程度，并提高搜索質量評估準確度。

技術領域

本發明實施例涉及信息搜索技術領域，尤其涉及一種搜索質量評估方法及裝置。

背景技術

在當今互聯網時代，網絡上的信息量急速膨脹增長，用戶想直接找到所需基本上是大海撈針；搜索引擎的出現，可以準確、快速地幫助人們從海量網絡數據中獲取所需信息。優化搜索引擎的排序效果，讓用戶快捷找到所需是搜索引擎的使命。因此如何快速對搜索引擎的搜索質量進行離線評估成為了一個熱門研究領域，在搜索技術研發中扮演著重要角色。

搜索引擎結果的好壞與否，體現在業界所稱的在相關性(Relevance)上。狹義的解釋是：檢索結果和用戶查詢的相關程度。目前，業界常用的離線評估有人工標注計算召回率、召回準確率、衡量搜索引擎質量指標(Discounted Cumulative Gain，DCG)、衡量排序質量的指標(Normalized Discounted Cumulative Gain，NDCG)等指標。由于這些指標都是基于人工標注數據來評價，受主觀因素、數據量的影響，致使評價結果和線上實際效果相差甚遠，且人工成本較高。

發明內容

本發明實施例提供一種搜索質量評估方法及裝置，使整個評估過程完全自動化，以降低人工成本及人工干擾程度，并提高搜索質量評估準確度。

第一方面，本發明實施例提供了一種搜索質量評估方法，包括：

基于用戶歷史搜索記錄數據構造搜索質量評估數據庫，所述搜索質量評估數據庫包含至少一個查詢關鍵詞、對應的至少一個搜索結果項以及針對所述搜索結果項的用戶操作特征數據；

針對所述至少一個查詢關鍵詞中的每個查詢關鍵詞，基于基線搜索策略和待評估搜索策略，分別對所述搜索質量評估數據庫中的對應搜索結果項進行排序得到第一排序結果和第二排序結果；

基于所述用戶歷史操作特征數據、所述第一排序結果和所述第二排序結果對所述待評估搜索策略的搜索質量進行評估。

第二方面，本發明實施例還提供了一種搜索質量評估裝置，包括：

評估數據庫構造模塊，用于基于用戶歷史搜索記錄數據構造搜索質量評估數據庫，所述搜索質量評估數據庫包含至少一個查詢關鍵詞、對應的至少一個搜索結果項以及針對所述搜索結果項的用戶操作特征數據；

排序模塊，用于針對所述至少一個查詢關鍵詞中的每個查詢關鍵詞，基于基線搜索策略和待評估搜索策略，分別對所述搜索質量評估數據庫中的對應搜索結果項進行排序得到第一排序結果和第二排序結果；

評估模塊，用于基于所述用戶歷史操作特征數據、所述第一排序結果和所述第二排序結果對所述待評估搜索策略的搜索質量進行評估。

本發明實施例通過基于用戶歷史搜索記錄數據構造包含至少一個查詢關鍵詞、對應的至少一個搜索結果項以及針對所述搜索結果項的用戶操作特征數據的搜索質量評估數據庫，并針對所述至少一個查詢關鍵詞中的每個查詢關鍵詞，基于基線搜索策略和待評估搜索策略，分別對所述搜索質量評估數據庫中的對應搜索結果項進行排序得到第一排序結果和第二排序結果，基于所述用戶歷史操作特征數據、所述第一排序結果和所述第二排序結果對所述待評估搜索策略的搜索質量進行評估，使整個評估過程完全自動化，以降低人工成本及人工干擾程度，并提高搜索質量評估準確度。

附圖說明