[發(fā)明專利]帶層次網絡結構的業(yè)務系統層次組織結構發(fā)現方法

有效

• 申請?zhí)枺?/td>: 201910407940.5
• 申請日: 2019-05-16
• 公開（公告）號: CN110287987B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設計）人: 林友芳;武志昊;萬懷宇;韓升;董興業(yè);王晶;張碩
• 申請（專利權）人: 北京交通大學
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京紅福盈知識產權代理事務所(普通合伙) 11525
• 代理人: 紀烈超

本發(fā)明涉及大型數據中心運維技術領域，尤其涉及一種帶層次網絡結構的業(yè)務系統層次組織結構發(fā)現方法。該方法利用日志大數據建立了一種自動化集群發(fā)現、分層的方法，可以用來自動繪制復雜業(yè)務系統的業(yè)務架構圖，從而提高運維效率和系統架構信息的時效性。該方法構建的業(yè)務系統架構圖可以真實反映業(yè)務系統在服務器上的運行的業(yè)務邏輯關系，輔助運維人員管理。且本發(fā)明的輸入僅需要數據中心的服務器日志數據，能夠自動發(fā)現復雜業(yè)務系統的業(yè)務架構圖，不僅結果準確，而且無須過多人操作，節(jié)省了大量人力、物力開支。

技術領域

本發(fā)明涉及大型數據中心運維技術領域，尤其涉及一種帶層次網絡結構的業(yè)務系統層次組織結構發(fā)現方法。

背景技術

業(yè)務系統架構圖對于大型數據中心的運維人員來說，就像公司人員組織結構圖對于人事管理人員一樣重要，是運維人員對業(yè)務系統進行全面快速了解、時刻掌控系統架構變更的重要運維手段之一。但近年來隨著大數據、云計算、人工智能技術的飛速發(fā)展，數據中心的規(guī)模也隨之爆炸式增長，對于業(yè)務系統架構圖這種帶有層次網絡結構的層次組織結構發(fā)現問題，不僅需要發(fā)現集群分組還需要定位集群在業(yè)務系統架構圖中的層次位置，而傳統的業(yè)務系統架構圖都是由經驗豐富的運維人員手工整理，這樣的方式存在很大的缺陷。一方面，人工梳理費時費力；另一方面，一旦發(fā)生業(yè)務系統架構變更或者出現運維人員工作調動，業(yè)務系統架構圖無法快速更新，也無法在人員之間快速交接。

發(fā)明內容

針對上述現有技術存在的不足，本發(fā)明提供了一種帶層次網絡結構的業(yè)務系統層次組織結構發(fā)現方法，以實現大型數據中心復雜業(yè)務系統架構圖自動梳理的功能。

本發(fā)明提供了如下方案，一種帶層次網絡結構的業(yè)務系統層次組織結構發(fā)現方法，該方法包括以下步驟：

S1從大型數據中心采集到的服務器日志數據中提取出服務器節(jié)點屬性數據，訓練分類器用于判斷服務器節(jié)點對是否屬于相同集群，具體包括以下步驟：

S1.1從一段時間段內(一段時間可以是1天也可以是1周，時間長短可以根據實際應用中系統架構變更頻率而定)的大型數據中心服務器日志數據中提取出服務器節(jié)點屬性數據，該服務器節(jié)點屬性數據中包括：服務器作為服務端時常用的服務端口列表server_port、服務器上占用CPU最多的10個進程cpu_process、服務器上占用內存最多的10個進程mem_process、服務器作為服務端，服務于其他服務器的數量in_vm、服務器作為客戶端，訪問其他服務器的數量out_vm、服務器作為服務端，服務端口的數量in_port、服務器作為客戶端，訪問端口的數量out_port，以及部分已知服務器節(jié)點的分類信息等；

S1.2將部分已知服務器節(jié)點分類信息的服務器兩兩之間相互組合，根據兩臺服務器節(jié)點分類信息是否相同，標定服務器節(jié)點對是否屬于相同集群的0/1標簽；

S1.3將全部服務器節(jié)點屬性信息兩兩之間相互組合，構建服務器節(jié)點對相似度特征，針對類別型服務器節(jié)點屬性，計算節(jié)點對相似度simil_attr(v_i,v_j)的公式如下：

其中，category＝{server_port,cpu_process,mem_process}，v_i,v_j是任意兩臺服務器節(jié)點，i,j分別表示服務器節(jié)點編號，i,j＝1,2,…,N，N表示服務器節(jié)點個數；針對數值型服務器節(jié)點屬性，計算節(jié)點對差異度diff_attr(v_i,v_j)的公式如下：

其中，numerical＝{in_vm,out_vm,in_port,out_port}；