[發(fā)明專利]離線反事實分析

有效

• 申請?zhí)枺?/td>: 201110423107.3
• 申請日: 2011-12-16
• 公開（公告）號: CN102542487A
• 公開（公告）日: 2012-07-04
• 發(fā)明（設(shè)計）人: L.博托;D.查爾斯;D.M.基克林;P.西馬德
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G06Q30/02
• 分類號: G06Q30/02;G06F17/30
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 孫之剛;劉鵬

1.一種利用離線反事實分析產(chǎn)生估計的系統(tǒng)性能的方法，執(zhí)行步驟包括：

把隨機干擾加入系統(tǒng)的組件（164,264）的原始輸出（165）以產(chǎn)生被干擾輸出（265），其中由一個或者多個計算裝置實現(xiàn)該系統(tǒng)并且其中進一步地該系統(tǒng)的組件（164,264）包括一組計算機可執(zhí)行指令，該計算機可執(zhí)行指令接收一個或者多個輸入（162,163）并根據(jù)由該組計算機可執(zhí)行指令實現(xiàn)且包括可修改參數(shù)的模型產(chǎn)生原始輸出（165）；

為該系統(tǒng)的操作的每個實例收集數(shù)據(jù)（240），所收集的數(shù)據(jù)（240）包括所述一個或者多個輸入（162,163）、被干擾的輸出（265），以及對于該實例系統(tǒng)的操作的一個或者多個結(jié)果（155），其中從該一個或者多個結(jié)果（155）中推導(dǎo)該系統(tǒng)的性能；

獲得用于該系統(tǒng)的組件的一個或者多個反事實參數(shù)；

產(chǎn)生非零的重新加權(quán)因子；

如果該組件（164,264）利用了包括該反事實參數(shù)的反事實模型，則在被干擾的輸出（265）與原本會由組件（164,264）產(chǎn)生的預(yù)期輸出匹配時，用該非零的重新加權(quán)因子對所收集的數(shù)據(jù)（240）重新加權(quán)以強調(diào)所收集的數(shù)據(jù)；以及

如果該組件（164,264）已經(jīng)利用了包括該反事實參數(shù)的該反事實模型，則用被重新加權(quán)的數(shù)據(jù)產(chǎn)生對于該系統(tǒng)的性能將會是什么樣的估計。

2.根據(jù)權(quán)利要求1的方法，其中被干擾的輸出依照以該原始輸出為中心的概率分布而變化。

3.根據(jù)權(quán)利要求1的方法，其中基于該組件利用了包括該反事實參數(shù)的反事實模型的情形下該組件的被干擾的輸出的預(yù)測的概率分布與該組件的被干擾的輸出的概率分布之間的比率而產(chǎn)生該非零的重新加權(quán)因子。

4.根據(jù)權(quán)利要求1的方法，進一步包括步驟：如果該一個或者多個所獲得的反事實參數(shù)與在收集數(shù)據(jù)期間利用的相應(yīng)參數(shù)在本質(zhì)上不同，則產(chǎn)生指示對于該模型中的遞增變化系統(tǒng)的性能的變化的大小和方向的矢量；其中如果該一個或者多個所獲得的反事實參數(shù)與在收集數(shù)據(jù)期間利用的相應(yīng)參數(shù)在本質(zhì)上并無不同，則僅執(zhí)行重新加權(quán)所收集的數(shù)據(jù)以及產(chǎn)生該估計。

5.根據(jù)權(quán)利要求4的方法，其中產(chǎn)生該矢量包括基于該被干擾的輸出的概率分布的算法關(guān)于該模型中的變化的導(dǎo)數(shù)而產(chǎn)生該矢量。

6.根據(jù)權(quán)利要求1的方法，其中：該系統(tǒng)是廣告呈現(xiàn)系統(tǒng)；該組件是廣告質(zhì)量分?jǐn)?shù)確定組件；該被干擾的輸出是為了產(chǎn)生廣告評級而提供給廣告評級組件的廣告質(zhì)量分?jǐn)?shù)，其中根據(jù)該廣告評級來選擇要呈現(xiàn)的廣告；以及該系統(tǒng)的性能基于因為用戶選擇由該廣告呈現(xiàn)系統(tǒng)呈現(xiàn)的廣告而收到的報酬。

7.根據(jù)權(quán)利要求6的方法，其中該廣告呈現(xiàn)系統(tǒng)包括搜索引擎；且其中進一步地該廣告質(zhì)量分?jǐn)?shù)確定組件的一個或者多個輸入包括為之產(chǎn)生質(zhì)量分?jǐn)?shù)的廣告的廣告內(nèi)容和搜索查詢，被選擇的廣告與響應(yīng)于該搜索查詢的搜索結(jié)果一起呈現(xiàn)。

8.一種或多種計算機可讀介質(zhì)，包括用于執(zhí)行權(quán)利要求1的步驟的計算機可執(zhí)行指令。