[發明專利]搜索結果的質量評估方法、裝置、服務器和介質

有效

• 申請號: 201810688272.3
• 申請日: 2018-06-28
• 公開（公告）號: CN108897685B
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 李虓;王軼凡;吳迪;陳冠霖;賈晉康;金慈航
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種搜索結果的質量評估方法、裝置、服務器和介質，其中，該方法包括：獲取目標查詢對應的至少兩個搜索結果列表，其中，不同的搜索結果列表是由不同的搜索排序算法得到；將至少兩個搜索結果列表中的搜索結果按照列表順序進行拆分，得到至少一個搜索結果組，其中，搜索結果組中包括每個搜索結果列表中相同排序位置的搜索結果；獲取用戶對至少一個搜索結果組的評分結果，并進行擬合，得到目標查詢的搜索結果的評估結果。本發明實施例解決了現有評估方法中評估成本較高與評估復雜性較大的問題，降低了評估成本和評估難度，提高了評估效率。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種搜索結果的質量評估方法、裝置、服務器和介質。

背景技術

對于一個成熟的互聯網搜索引擎而言，為了保證優秀的用戶體驗，需要持續不斷地改進搜索結果排序算法。而判斷一個新的搜索排序算法是否達到了預期效果，就需要科學地評估搜索結果質量。

搜索引擎的根本在于找到符合用戶需求的信息，這通常可以利用搜索結果與用戶輸入的關鍵詞之間的相關程度，即結果相關性來反映，因此，結果相關性是評估搜索引擎最重要的指標。在對搜索引擎的搜索結果質量評估過程中，為了避免正反饋的問題，需要引入人力判斷。現有技術中依賴人工評估的常用方法包括QU(query-url)評估方法和并排(Side-By-Side)評估方法。

但是，QU評估方法的結果穩定性較低、結果冗余、結果缺乏多樣性且不能很好滿足查詢者的需求；相比于QU評估方法，并排評估方法可以克服QU評估的缺陷，但隨之產生了其他缺陷，例如評估成本較高，評估復雜性較大。

發明內容

本發明實施例提供一種搜索結果的質量評估方法、裝置、服務器和介質，以實現降低評估成本和評估難度的效果。

第一方面，本發明實施例提供了一種搜索結果的質量評估方法，該方法包括：

獲取目標查詢對應的至少兩個搜索結果列表，其中，不同的搜索結果列表是由不同的搜索排序算法得到；

將所述至少兩個搜索結果列表中的搜索結果按照列表順序進行拆分，得到至少一個搜索結果組，其中，所述搜索結果組中包括每個搜索結果列表中相同排序位置的搜索結果；

獲取用戶對所述至少一個搜索結果組的評分結果，并進行擬合，得到目標查詢的搜索結果的評估結果。

第二方面，本發明實施例還提供了一種搜索結果的質量評估裝置，該裝置包括：

搜索結果列表獲取模塊，用于獲取目標查詢對應的至少兩個搜索結果列表，其中，不同的搜索結果列表是由不同的搜索排序算法得到；

搜索結果列表拆分模塊，用于將所述至少兩個搜索結果列表中的搜索結果按照列表順序進行拆分，得到至少一個搜索結果組，其中，所述搜索結果組中包括每個搜索結果列表中相同排序位置的搜索結果；

評估結果確定模塊，用于獲取用戶對所述至少一個搜索結果組的評分結果，并進行擬合，得到目標查詢的搜索結果的評估結果。

第三方面，本發明實施例還提供了一種服務器，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如本發明任一實施例所述的搜索結果的質量評估方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如本發明任一實施例所述的搜索結果的質量評估方法。