[發(fā)明專利]檢測(cè)和報(bào)警特征斜升期間的性能下降

有效

• 申請(qǐng)?zhí)枺?/td>: 201680020210.4
• 申請(qǐng)日: 2016-02-22
• 公開（公告）號(hào): CN107852338B
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計(jì)）人: D·Q·賀;侯瑞軒;M·C·常;B·斯里德哈蘭
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): H04L12/24
• 分類號(hào): H04L12/24;H04L29/08;G06F11/34;G06F11/07
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 王英

本公開描述了用于檢測(cè)特征斜升期間的性能下降的計(jì)算機(jī)化技術(shù)。網(wǎng)絡(luò)內(nèi)容的第一版本被發(fā)送到第一客戶端設(shè)備。網(wǎng)絡(luò)內(nèi)容的第一版本缺少特定特征。接收指示每個(gè)第一客戶端設(shè)備關(guān)于處理網(wǎng)絡(luò)內(nèi)容的性能的第一性能數(shù)據(jù)。網(wǎng)絡(luò)內(nèi)容的第二版本被發(fā)送到第二客戶端設(shè)備。網(wǎng)絡(luò)內(nèi)容的第二版本具有特定特征。接收指示每個(gè)第二客戶端設(shè)備關(guān)于處理網(wǎng)絡(luò)內(nèi)容的性能的第二性能數(shù)據(jù)。將第一性能數(shù)據(jù)與第二性能數(shù)據(jù)進(jìn)行比較，以確定與網(wǎng)絡(luò)內(nèi)容的第一版本相關(guān)聯(lián)的處理度量和與網(wǎng)絡(luò)內(nèi)容的第二版本相關(guān)聯(lián)的處理度量之間的差異。

技術(shù)領(lǐng)域

本公開涉及應(yīng)用服務(wù)器，以及更具體地，涉及檢測(cè)和警報(bào)特征斜升期間的性能下降。

背景技術(shù)

盡管進(jìn)行了實(shí)驗(yàn)室測(cè)試，但是在發(fā)布之前可能難以預(yù)測(cè)新的網(wǎng)絡(luò)應(yīng)用特征的性能影響。跟蹤新的網(wǎng)絡(luò)應(yīng)用特征的性能的一種方法是專注于特征可能對(duì)提供網(wǎng)絡(luò)應(yīng)用程序的服務(wù)器產(chǎn)生的影響。然而，新特征可能對(duì)客戶端設(shè)備產(chǎn)生的影響被完全忽略。

監(jiān)控性能下降的一種方法是比較在新特征的總發(fā)布之前和之后觀察到的總體性能數(shù)據(jù)。然而，這種方法并不適合復(fù)雜的部署技術(shù)。另外，這種方法將不會(huì)知曉一些應(yīng)用程序用戶可以使用應(yīng)用程序的變體，而其他同時(shí)的用戶不使用該變體。

這種方法的結(jié)果是對(duì)于未被廣泛使用的變體的性能下降的觀察可能在通常可獲得的應(yīng)用的較大受眾的統(tǒng)計(jì)測(cè)量中丟失。無(wú)法分離變體性能由于多個(gè)新特征中的每一個(gè)的單獨(dú)變體的可能性而加劇。

發(fā)明內(nèi)容

在本公開的第一方面，一種用于檢測(cè)特征斜升期間的性能下降的方法，包括：接收包括特征和客戶端工具的部署，以測(cè)量和報(bào)告具有所述特征的網(wǎng)絡(luò)內(nèi)容的加載時(shí)間，其中所述特征被禁用；為客戶端用戶的子集啟用所述特征；反復(fù)添加客戶端用戶到所述子集；從所述客戶端工具接收定時(shí)報(bào)告，其中每個(gè)定時(shí)報(bào)告包括內(nèi)容加載持續(xù)時(shí)間和客戶端用戶的分類符；處理分類符以確定該特征是否為所述客戶端用戶所啟用；基于所述定時(shí)報(bào)告計(jì)算下降程度，所述下降程度在統(tǒng)計(jì)上量化如果為所述客戶端用戶啟用該特征，客戶端所花費(fèi)的加載網(wǎng)絡(luò)內(nèi)容的額外持續(xù)時(shí)間；如果所述下降程度超過閾值則產(chǎn)生警報(bào)；其中所述方法由一個(gè)或更多個(gè)計(jì)算設(shè)備執(zhí)行。

在本公開的第二方面，一種用于檢測(cè)特征斜升期間的性能下降的方法，包括：將網(wǎng)絡(luò)內(nèi)容的第一版本發(fā)送到第一多個(gè)客戶端設(shè)備，其中所述網(wǎng)絡(luò)內(nèi)容的第一版本不包括特定特征；從所述第一多個(gè)客戶端設(shè)備中的每個(gè)客戶端設(shè)備接收指示所述客戶端設(shè)備關(guān)于處理所述網(wǎng)絡(luò)內(nèi)容的性能的第一性能數(shù)據(jù)；將所述網(wǎng)絡(luò)內(nèi)容的第二版本發(fā)送到與所述第一多個(gè)客戶端設(shè)備不同的第二多個(gè)客戶端設(shè)備，其中所述網(wǎng)絡(luò)內(nèi)容的第二版本包括所述特定特征；從所述第二多個(gè)客戶端設(shè)備中的每個(gè)客戶端設(shè)備接收指示所述客戶端設(shè)備關(guān)于處理所述網(wǎng)絡(luò)內(nèi)容的性能的第二性能數(shù)據(jù)；將所述第一性能數(shù)據(jù)與所述第二性能數(shù)據(jù)進(jìn)行比較，以確定與所述網(wǎng)絡(luò)內(nèi)容的第一版本相關(guān)聯(lián)的處理度量和與所述網(wǎng)絡(luò)內(nèi)容的第二版本相關(guān)聯(lián)的處理度量之間的差異；其中與所述第一版本相關(guān)聯(lián)的處理度量和與所述第二版本相關(guān)聯(lián)的處理度量包括內(nèi)容加載時(shí)間的統(tǒng)計(jì)數(shù)據(jù)；其中所述內(nèi)容加載時(shí)間不包括在完成呈現(xiàn)所有可見內(nèi)容之后所花費(fèi)的時(shí)間；其中所述方法由一個(gè)或多個(gè)計(jì)算設(shè)備執(zhí)行。

在本公開的第三方面，一種用于檢測(cè)特征斜升期間的性能下降的方法，包括：將網(wǎng)絡(luò)內(nèi)容的第一版本發(fā)送到第一多個(gè)客戶端設(shè)備，其中所述網(wǎng)絡(luò)內(nèi)容的第一版本不包括特定特征；從所述第一多個(gè)客戶端設(shè)備中的每個(gè)客戶端設(shè)備接收指示所述客戶端設(shè)備關(guān)于處理所述網(wǎng)絡(luò)內(nèi)容的性能的第一性能數(shù)據(jù)；將所述網(wǎng)絡(luò)內(nèi)容的第二版本發(fā)送到與所述第一多個(gè)客戶端設(shè)備不同的第二多個(gè)客戶端設(shè)備，其中所述網(wǎng)絡(luò)內(nèi)容的第二版本包括所述特定特征；從所述第二多個(gè)客戶端設(shè)備中的每個(gè)客戶端設(shè)備接收指示所述客戶端設(shè)備關(guān)于處理所述網(wǎng)絡(luò)內(nèi)容的性能的第二性能數(shù)據(jù)；將所述第一性能數(shù)據(jù)與所述第二性能數(shù)據(jù)進(jìn)行比較，以確定與所述網(wǎng)絡(luò)內(nèi)容的第一版本相關(guān)聯(lián)的處理度量和與所述網(wǎng)絡(luò)內(nèi)容的第二版本相關(guān)聯(lián)的處理度量之間的差異；其中與所述第一版本相關(guān)聯(lián)的處理度量和與所述第二版本相關(guān)聯(lián)的處理度量包括內(nèi)容加載時(shí)間的統(tǒng)計(jì)數(shù)據(jù)；其中所述內(nèi)容加載時(shí)間包括多個(gè)時(shí)間花費(fèi)；其中多個(gè)時(shí)間花費(fèi)中的每個(gè)時(shí)間花費(fèi)測(cè)量在單獨(dú)的內(nèi)容加載階段中的時(shí)間花費(fèi)；其中所述方法由一個(gè)或多個(gè)計(jì)算設(shè)備執(zhí)行。