[發(fā)明專利]服務(wù)運(yùn)行時(shí)流量鏈路監(jiān)測(cè)方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110588557.1
• 申請(qǐng)日: 2021-05-28
• 公開（公告）號(hào): CN113328911B
• 公開（公告）日: 2022-12-20
• 發(fā)明（設(shè)計(jì)）人: 高正宇;楊卓俊;陸斌;黃俊文
• 申請(qǐng)（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號(hào): H04L43/0876
• 分類號(hào): H04L43/0876;H04L43/50
• 代理公司: 北京三友知識(shí)產(chǎn)權(quán)代理有限公司 11127
• 代理人: 劉熔;趙平

本申請(qǐng)實(shí)施例提供一種服務(wù)運(yùn)行時(shí)流量鏈路監(jiān)測(cè)方法及裝置，也可用于金融領(lǐng)域，方法包括：接收外部請(qǐng)求響應(yīng)的流量，判別所述流量的流量類型，并根據(jù)所述流量類型分別對(duì)所述流量進(jìn)行流量標(biāo)記和流量集合存儲(chǔ)；根據(jù)所述流量標(biāo)記對(duì)存儲(chǔ)的流量集合進(jìn)行資源消耗分析，得到對(duì)應(yīng)的運(yùn)行時(shí)實(shí)時(shí)資源消耗和運(yùn)行完成后整體資源消耗并進(jìn)行持久化存儲(chǔ)和可視化展示；本申請(qǐng)能夠準(zhǔn)確、便捷得對(duì)服務(wù)運(yùn)行時(shí)流量鏈路進(jìn)行監(jiān)測(cè)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)處理領(lǐng)域，也可用于金融領(lǐng)域，具體涉及一種服務(wù)運(yùn)行時(shí)流量鏈路監(jiān)測(cè)方法及裝置。

背景技術(shù)

現(xiàn)有技術(shù)中沒有針對(duì)在服務(wù)運(yùn)行時(shí)、在流量回放時(shí)對(duì)流量的執(zhí)行情況進(jìn)行監(jiān)控并生成流量視圖統(tǒng)計(jì)信息的方案，但是在實(shí)際操作中，通常會(huì)采用以下情況觀察服務(wù)運(yùn)行情況：1.直接登入服務(wù)的機(jī)器、或利用某些jvm內(nèi)存監(jiān)控工具獲取目標(biāo)服務(wù)整體的cpu和內(nèi)存消耗；2.觀察流量回放時(shí)的服務(wù)連接和服務(wù)響應(yīng)情況，得出回放過程中目標(biāo)服務(wù)的可用性。

發(fā)明人發(fā)現(xiàn)，現(xiàn)有技術(shù)主要有以下幾個(gè)問題：

1.無法針對(duì)流量所在的服務(wù)線程進(jìn)行有效的監(jiān)控：目前方案中，服務(wù)在外部看來是個(gè)黑盒，得到的信息是服務(wù)整體的信息，各條流量/各個(gè)接口的具體運(yùn)行情況、對(duì)系統(tǒng)資源的消耗、對(duì)系統(tǒng)的影響無法得到分辨和控制。

2.原有的監(jiān)控體系的展示信息不全：僅僅展示了整體的cpu消耗、連接數(shù)、內(nèi)存占用、整體服務(wù)響應(yīng)情況等。實(shí)際上測(cè)試或開發(fā)人員實(shí)際上更加關(guān)注單條流量或單個(gè)接口的細(xì)節(jié)信息，如：流量執(zhí)行耗時(shí)、單接口執(zhí)行次數(shù)、流量高峰、接口響應(yīng)高峰、流量代碼覆蓋率、流量所在線程狀態(tài)、線程消耗的cpu、流量和實(shí)際業(yè)務(wù)對(duì)應(yīng)、流量來源標(biāo)記等統(tǒng)計(jì)信息。

3.原有監(jiān)控?zé)o法持續(xù)形成資產(chǎn)庫：原有的監(jiān)控方式只能實(shí)時(shí)的觀察到當(dāng)前狀態(tài)，或者僅對(duì)整體的內(nèi)存、cpu消耗曲線進(jìn)行記錄，無法持久化每種接口的線程消耗、調(diào)用次數(shù)等統(tǒng)計(jì)信息。

4.對(duì)回放流量監(jiān)控體系沒有覆蓋：流量視圖應(yīng)當(dāng)可以推廣到回放流量時(shí)的流量回放執(zhí)行視圖。將回放流量和正常流量進(jìn)行區(qū)分，并且對(duì)回放程序在響應(yīng)服務(wù)時(shí)各個(gè)接口的響應(yīng)情況、高并發(fā)下回放流量的占用資源情況、回放時(shí)的mock鏈路詳情等信息進(jìn)行統(tǒng)計(jì)，從而進(jìn)一步分析流量回放時(shí)的服務(wù)性能情況。

5.流量標(biāo)記技術(shù)沒有有效的被利用起來：沒有充分利用流量帶著透?jìng)鳂?biāo)記flowid這一特點(diǎn)，將執(zhí)行的流量和實(shí)際業(yè)務(wù)對(duì)應(yīng)起來。

6.對(duì)mock接口沒有有效的監(jiān)控：當(dāng)采用sandbox等流量回放技術(shù)執(zhí)行回放時(shí)，對(duì)于mock記錄的控制是不全面的，利用的是相似度對(duì)比算法獲取需要mock接口的mock數(shù)據(jù)時(shí)，如果mock了錯(cuò)誤的數(shù)據(jù)，測(cè)試人員也無從得知。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中的問題，本申請(qǐng)?zhí)峁┮环N服務(wù)運(yùn)行時(shí)流量鏈路監(jiān)測(cè)方法及裝置，能夠準(zhǔn)確、便捷得對(duì)服務(wù)運(yùn)行時(shí)流量鏈路進(jìn)行監(jiān)測(cè)。

為了解決上述問題中的至少一個(gè)，本申請(qǐng)?zhí)峁┮韵录夹g(shù)方案：

第一方面，本申請(qǐng)?zhí)峁┮环N服務(wù)運(yùn)行時(shí)流量鏈路監(jiān)測(cè)方法，包括：

接收外部請(qǐng)求響應(yīng)的流量，判別所述流量的流量類型，并根據(jù)所述流量類型分別對(duì)所述流量進(jìn)行流量標(biāo)記和流量集合存儲(chǔ)；

根據(jù)所述流量標(biāo)記對(duì)存儲(chǔ)的流量集合進(jìn)行資源消耗分析，得到對(duì)應(yīng)的運(yùn)行時(shí)實(shí)時(shí)資源消耗和運(yùn)行完成后整體資源消耗并進(jìn)行持久化存儲(chǔ)和可視化展示。

進(jìn)一步地，所述判別所述流量的流量類型，包括：

判斷所述流量的訪問來源頭信息和/或訪問來源參數(shù)調(diào)用信息中是否在特定流量標(biāo)識(shí)，若是，則判定該流量的流量類型為回放流量，否則，判定該流量的流量類型為正常流量。

進(jìn)一步地，所述根據(jù)所述流量類型分別對(duì)所述流量進(jìn)行流量標(biāo)記和流量集合存儲(chǔ)，包括：