[發明專利]搜索引擎的評估方法、裝置及計算機可讀存儲介質

在審

• 申請號: 201710287050.6
• 申請日: 2017-04-26
• 公開（公告）號: CN107273404A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 李悅
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 深圳市世紀恒程知識產權代理事務所44287
• 代理人: 胡海國

技術領域

本發明涉及搜索引擎技術領域，尤其涉及一種搜索引擎的評估方法、裝置及計算機可讀存儲介質。

背景技術

搜索引擎的搜索性能體現在搜索結果和用戶查詢的相關程度，從用戶輸入關鍵詞搜索，到搜索到用戶滿意的搜索結果，其間的搜索過程越順暢、越便捷，則說明相關程度越高。為了提高搜索結果和用戶查詢的相關程度匹配性，即提高搜索引擎的搜索性能，需要對搜索引擎進行評估，以根據評估結果對搜索引擎進行調整優化。

目前，市面上的搜索引擎評估多采用線下產品經理評判、專家打分、測試同事打分的方案，依據Cranfield評估框架進行搜索性能評估。Cranfield評估框架通過構造測試用查詢詞集合，對此集合中的查詢詞進行搜索，并通過人工標注的方式設定搜索結果的多個理想搜索結果，將此多個理想搜索結果的集合作為最優集合，根據實際搜索結果和最優集合的接近程度來評估搜索引擎的搜索性能。這種評估方法依賴于人工對最優集合的標注，存在最優集合小樣本量、不準確性以及人工主觀鑒定的干擾等問題，導致了搜索引擎搜索結果評估的不準確。

發明內容

本發明的主要目的在于提供一種搜索引擎的評估方法、裝置及計算機可讀存儲介質，旨在解決現有技術最優集合的小樣本量以及不準確性導致搜索引擎搜索結果評估不準確的問題。

為實現上述目的，本發明提供的一種搜索引擎的評估方法，所述搜索引擎的評估方法包括以下步驟：

統計用戶搜索的歷史記錄，并根據所述歷史記錄確定多個搜索關鍵詞；

根據所述多個搜索關鍵詞，獲取各個搜索關鍵詞對應搜索結果的搜索結果點擊率；

根據所述搜索結果點擊率對所述各個搜索關鍵詞對應搜索結果進行排序，獲取各個搜索關鍵詞對應搜索結果的名次數據和頁面位置數據；

基于所述各個搜索關鍵詞的搜索結果的名次數據和頁面位置數據，按照預設規則確定搜索引擎的搜索系數，以基于所述搜索系數對搜索引擎進行評估。

可選地，所述基于所述各個搜索關鍵詞的搜索結果的名次數據和頁面位置數據，按照預設規則確定多個搜索關鍵詞的搜索系數的步驟包括：

基于所述各個搜索關鍵詞的搜索結果的名次數據，確定各個搜索關鍵詞中前預設名數的目標搜索結果，并獲取目標搜索結果對應的目標頁面位置數據；

按照預設規則，基于目標搜索結果的目標名次數據和對應目標頁面位置數據獲取各個搜索關鍵詞的目標搜索系數；

根據各個搜索關鍵詞的目標搜索系數，確定搜索引擎的搜索系數。

可選地，所述按照預設規則，基于目標搜索結果的目標名次數據和對應目標頁面位置數據獲取各個搜索關鍵詞的目標搜索系數的步驟包括：

根據搜索引擎頁面排列順序，獲取各個搜索關鍵詞在搜索引擎頁面中的待評估搜索結果，并獲取所述待評估搜索結果的頁面位置數據；

將目標搜索結果的目標頁面位置數據作為第一集合，待評估搜索結果的頁面位置數據作為第二集合，并獲取第一集合與第二集合相交的交集元素數量；

將交集元素數量與第一集合的元素數量的比值作為召回率，并將交集元素數量與第二集合的元素數量的比值作為準確率，其中所述召回率與準確率作為搜索關鍵詞的目標搜索系數，以獲取各個搜索關鍵詞的目標搜索系數。

可選地，所述根據各個搜索關鍵詞的目標搜索系數，確定搜索引擎的搜索系數的步驟包括：

根據各個搜索關鍵詞的召回率以及搜索關鍵詞的個數，確定搜索引擎的召回率平均值；

根據各個搜索關鍵詞的準確率以及搜索關鍵詞的個數，確定搜索引擎的準確率平均值，其中所述召回率平均值與準確率平均值作為搜索引擎的搜索系數。

可選地，所述按照預設規則，基于目標搜索結果的目標名次數據和對應目標頁面位置數據獲取各個搜索關鍵詞的目標搜索系數的步驟包括：

對目標搜索結果的目標頁面位置數據取倒，獲取目標頁面位置數據的倒數值，并將所述倒數值作為搜索關鍵詞的目標搜索系數，以獲取各個搜索關鍵詞的目標搜索系數。

可選地，所述按照預設規則，基于目標搜索結果的目標名次數據和對應目標頁面位置數據獲取各個搜索關鍵詞的目標搜索系數的步驟包括：

根據搜索引擎頁面排列順序，獲取各個搜索關鍵詞在搜索引擎頁面中的待評估搜索結果，并獲取所述待評估搜索結果的頁面位置數據；

逐個獲取待評估搜索結果的頁面位置數據與目標搜索結果的目標頁面位置數據的第一比值；