[發明專利]一種搜索引擎測試評價方法和裝置

在審

• 申請號: 201611228051.5
• 申請日: 2016-12-27
• 公開（公告）號: CN106777248A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 陳亞堂;梁懷宗;張淑燕
• 申請（專利權）人: 努比亞技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京派特恩知識產權代理有限公司11270
• 代理人: 王花麗,蔣雅潔

技術領域

本發明涉及網絡搜索領域的搜索引擎評價技術，尤其涉及一種搜索引擎測試評價方法和裝置。

背景技術

在搜索引擎中，需要對搜索引擎進行搜索質量評估?，F有的搜索引擎評估方法包括Cranfield評價體系。在Cranfield評價體系中，需要人工測試后才可以評估出搜索引擎質量，并且如果要做到評價結果的準確，需要大量人工測試后得出結果才比較有可靠性，比較耗時耗力；對于Cranfield評價體系，如果要做到自動化測試，需要根據搜索詞，人工確定搜索詞的最相關集合，從而根據與最相關集合比較來進行自動化評測。因此，該方法中，最相關集合存在主觀性，且需要人工調整、維護、更新，同時比較耗費人力，并且評價結果的準確性也會存在偏差。

發明內容

為解決上述技術問題，本發明實施例提供一種搜索引擎測試評價方法和裝置，可以實現準確、高效的自動化測試。

本發明的技術方案是這樣實現的：

本發明實施例提供一種搜索引擎測試評價裝置，所述裝置包括：確定單元、獲取單元、處理單元，其中，

所述確定單元，用于根據預設模型和至少一個訓練數據確定訓練模型，所述訓練數據包括：至少一個搜索詞和與所述至少一個搜索詞對應的至少一組搜索結果，每一個搜索詞對應一組搜索結果；

所述獲取單元，用于獲取第一搜索詞在第一搜索引擎的至少一個第一搜索結果；

所述處理單元，用于分別將所述至少一個第一搜索結果與所述第一搜索詞在所述訓練模型的相關性結果進行比較，獲得所述至少一個第一搜索結果的至少一個相關度值；還用于通過預設測試評價算法分別對所述至少一個相關度值進行測試評價，獲得所述第一搜索引擎的測試評價結果。

可選地，所述確定單元，用于根據至少一個用戶的搜索數據確定至少一個訓練數據；

所述處理單元，用于將所述至少一個訓練數據進行整合處理，獲得第一訓練數據；還用于通過word2vec模型對所述第一訓練數據進行訓練，獲得訓練模型。

可選地，所述處理單元，用于對所述至少一個用戶的搜索數據進行處理，獲得第二搜索詞、與所述第二搜索詞對應第二搜索結果、和所述第二搜索結果中每一個搜索結果的點擊次數，所述第二搜索詞包括：至少一個搜索詞，所述第二搜索結果包括：至少一組搜索結果，每一個搜索詞對應一組搜索結果，每一組搜索結果包括至少一個搜索結果；還用于根據所述第二搜索結果中每一個搜索結果的點擊次數將所述第二搜索詞中所有相同的搜索詞對應的搜索結果進行排列，還用于通過排列后的所述第二搜索結果和所述第二搜索詞生成至少一個訓練數據。

可選地，第三搜索詞為所述第二搜索詞中相同的搜索詞，第三搜索結果為與第三搜索詞對應的搜索結果；

所述處理單元，用于按照第三搜索結果中每一個搜索結果的點擊次數從大到小進行排列所述第三搜索結果，還用于通過排列后的第三搜索結果和第三搜索詞生成所述第二訓練數據。

可選地，所述獲取單元，用于獲取所述至少一個用戶的搜索數據，其中，用戶的搜索數據包括：用戶搜索與點擊日志。

本發明實施例提供一種搜索引擎測試評價方法，所述方法包括：

根據預設模型和至少一個訓練數據確定訓練模型，所述訓練數據包括：至少一個搜索詞和與所述至少一個搜索詞對應的至少一組搜索結果，每一個搜索詞對應一組搜索結果；

獲取第一搜索詞在第一搜索引擎的至少一個第一搜索結果，分別將所述至少一個第一搜索結果與所述第一搜索詞在所述訓練模型的相關性結果進行比較，獲得所述至少一個第一搜索結果的至少一個相關度值；

通過預設測試評價算法分別對所述至少一個相關度值進行測試評價，獲得所述第一搜索引擎的測試評價結果。

可選地，所述根據預設模型和至少一個訓練數據確定訓練模型，包括：

根據至少一個用戶的搜索數據確定至少一個訓練數據；

將所述至少一個訓練數據進行整合處理，獲得第一訓練數據；

通過word2vec模型對所述第一訓練數據進行訓練，獲得訓練模型。

可選地，所述根據至少一個用戶的搜索數據確定至少一個訓練數據，包括：

對所述至少一個用戶的搜索數據進行處理，獲得第二搜索詞、與所述第二搜索詞對應第二搜索結果、和所述第二搜索結果中每一個搜索結果的點擊次數，所述第二搜索詞包括：至少一個搜索詞，所述第二搜索結果包括：至少一組搜索結果，每一個搜索詞對應一組搜索結果，每一組搜索結果包括至少一個搜索結果；