[發明專利]在線服務實驗方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110575133.1
• 申請日: 2021-05-26
• 公開（公告）號: CN113158497A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 張晨
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06Q10/04;G06Q10/06
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請實施例屬于數據處理領域，涉及一種在線服務實驗方法，應用于在線服務實驗系統中，其中，所述在線服務實驗系統包括至少一個實驗域，各所述實驗域對應一個待評估系統，各所述待評估系統包括待評估對象，所述方法包括：對待評估對象進行參數化處理，得到待評估參數；根據參數關聯性對待評估參數進行分組，得到分組參數；為各所述分組參數所在實驗層指定一個請求鍵值；當接收到用戶請求時，根據請求鍵值確定是否存在與用戶請求對應的實驗，若存在，則將其作為命中實驗；并將命中實驗對應的取值組合作為生效參數，作為實驗結果。本申請還提供一種在線服務實驗裝置、計算機設備及存儲介質。采用本方法解決了流量饑餓提高了性能。

技術領域

本申請涉及數據處理領域，特別是涉及一種在線服務實驗方法、裝置、計算機設備和存儲介質。

背景技術

人工智能系統的實驗方法，其基本功能是通過線上實驗比較人工智能系統中涉及到的不同模型、不同方法或者不同配置的優劣。其中，人工智能系統常見形態是接收用戶輸入，通過人工智能模型處理后，返回結果。例如在智能客服中，輸入為用戶輸入的語音或者文字，人工智能模型的作用是生成對應的回復，而返回結果就是給用戶的回復。再比如在推薦系統中，輸入為用戶的特征數據，人工智能模型的作用是找出要推薦給用戶的物品列表，而輸出是推薦給用戶的物品列表。為了評估上述人工智能模型的效果，需要通過計算一些指標來進行量化，比如在只能客服系統中，用戶和系統交互的輪次或者用戶對本次對話的評分反映了對話模型的效果。再比如在推薦服務中，用戶對推薦物品的點擊率反映了推薦模型的效果。比較不同模型效果的過程稱為實驗。

傳統技術中有兩種常見的場景，一個是比較兩個完全不同的方法或者模型的效果，比如比較ItemCF模型和UserCF模型；另一個是比較相同模型的不同取值組合的效果，例如BERT模型由三個主要的參數，參數L表示神經網絡層數、參數H表示隱含層的大小、參數A表示注意力頭(attention heads)的數量；加入L有n1種取值，H有n2種取值，A有n3種取值，則最終參數取值組合數量n＝n1*n2*n3，實驗目標是比較m種(m≤n)參數組合下模型的效果。為此要首先對要評估的系統進行參數化，以統一評估對象。例如對于“比較不同的模型M1和M2”的場景，引入與現有參數不重名的新參數M，則該問題亦轉化為評估取值組合的問題。

評估一組取值組合的配置及過程稱為一組實驗，一般一個系統中可能需要同時進行多組實驗。例如推薦服務中，一般至少有召回、排序兩個模塊，則需要設置兩組實驗分別去比較召回模塊的取值組合和排序模塊的取值組合。

一般實驗方法分為離線實驗、單層實驗以及多因子實驗。離線實驗不適用線上流量，使用離線收集的數據對要評估的m種參數組合分別計算相關評價指標，以選出較優的參數組合；單層實驗使用線上流量，但只有一個實驗層，如有多組實驗，則每組實驗只能使用一定比例的流量，例如4組實驗，各使用四分之一的流量進行實驗；最后的多因子實驗對于一個N參數，每個參數有M種取值的系統，一共需要M^N個實驗。

傳統的實驗方法的問題是無法用戶大規模線上系統，具體來說，對于離線實驗，因其使用離線數據，因為數據和環境均與線上環境有偏差，得到的實驗結果可信度較低，只能用于參考，無法用于實際決策；對于單層線上實驗，因為不同實驗組需要互斥在總流量中占用一部分流量用于實驗，則當前序實驗組劃出足夠的流量用于實驗時，可能造成后面實驗組無法得到足夠的流量，因而造成流量饑餓，而導致的實驗結果可信度低的問題；對于多因子實驗來說，因其實驗數量隨著參數數量的增加呈指數增長，所以根本無法應用于大規模線上系統中。