[發明專利]測試方法和裝置

有效

• 申請號: 201510974380.3
• 申請日: 2015-12-22
• 公開（公告）號: CN106909497B
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 倪靜;王豆豆
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 北京市惠誠律師事務所 11353
• 代理人: 劉子敬

本發明提供了一種測試方法和裝置，通過獲取基準算法程序針對基準對象計算所獲得的基準數據，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數據之后，針對屬于基準對象與實驗對象之間的交集的相同對象，計算更新率，進而根據各相同對象的更新率進行統計，獲得統計數據，根據該統計數據，生成差異程度的測試結果，該測試結果能夠衡量出實驗數據和基準數據的差異程度，相較于現有技術無需進行人工抽樣，提高了測試效率。

技術領域

本發明涉及計算機技術，尤其涉及一種測試方法和裝置。

背景技術

算法程序的執行效率是對算法程序進行測試的考核指標之一。具體可以將基于相似數據池所構建的兩不同算法程序在不同時間點上所獲得的輸出數據進行比較，當獲得兩組差異極小的輸出數據時，對比輸出這兩組輸出數據時算法程序的運行時間，運行時間較短的算法程序執行效率較高。相似的，還可以將同一算法程序在不同時間點上所獲得的輸出數據進行比較，從而隨著該算法程序的運行時間的延長，所獲得的輸出數據差異極小時，則可以將輸出數據差異極小時該算法程序的運行時間用來衡量該算法程序的執行效率。

例如：基準算法程序和實驗算法程序均為向用戶推薦喜好的商品，但基準算法程序需要運行4小時獲得輸出數據，而實驗算法程序需要運行2小時就能獲得輸出數據，且兩組輸出數據之間的差異極小，也就是說相似度極高，則可以測試出實驗算法程序的執行效率優于基準算法程序。

可見，對于兩組算法程序的輸出數據進行比較，從而確定兩組輸出數據之間的差異程度是對執行效率進行測試的必要指標。現有技術中，可以通過人工抽樣的方式進行，通過對于部分輸出數據進行抽煙核對數據變化情況，來確定差異程度，但這種方式不僅需要耗費大量人工，能核對的數據量也相對較小，同時，這種方式也不能夠全面反映出兩組輸出數據之間的差異，因而效率較低。

發明內容

本發明提供一種測試方法和裝置，用于解決現有技術中確定不同組輸出數據之間的差異程度的方法效率較低的技術問題。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，提供了一種測試方法，包括：

獲取基準算法程序針對基準對象計算所獲得的基準數據，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數據；

對比所述基準對象以及所述實驗對象，獲得屬于基準對象與實驗對象之間的交集的相同對象；

針對每一個相同對象，計算更新率；其中更新率用于指示實驗數據相對于基準數據的變化比率；

針對各相同對象的更新率進行統計，獲得統計數據；

根據所述統計數據，生成測試結果。

第二方面，提供了一種測試裝置，包括：

獲取模塊，用于獲取基準算法程序針對基準對象計算所獲得的基準數據，以及獲取實驗算法程序針對實驗對象計算所獲得的實驗數據；

對比模塊，用于對比所述基準對象以及所述實驗對象，獲得屬于基準對象與實驗對象之間的交集的相同對象；

計算模塊，用于針對每一個相同對象，計算更新率；其中更新率用于指示實驗數據相對于基準數據的變化比率；

統計模塊，用于針對各相同對象的更新率進行統計，獲得統計數據；

生成模塊，用于根據所述統計數據，生成測試結果。