[發(fā)明專利]分布式數(shù)據(jù)庫(kù)集群故障預(yù)警關(guān)聯(lián)樹生成方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201610133483.1
• 申請(qǐng)日: 2016-03-09
• 公開（公告）號(hào): CN105760279B
• 公開（公告）日: 2018-09-07
• 發(fā)明（設(shè)計(jì)）人: 孫喬;張春光;付蘭梅;鄧卜僑;孫雷;劉煒;崔偉
• 申請(qǐng)（專利權(quán)）人: 北京國(guó)電通網(wǎng)絡(luò)技術(shù)有限公司;國(guó)家電網(wǎng)公司;國(guó)網(wǎng)浙江省電力公司;北京中電飛華通信股份有限公司;國(guó)網(wǎng)信息通信產(chǎn)業(yè)集團(tuán)有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F17/30
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 李弘;李莎

本發(fā)明公開了一種分布式數(shù)據(jù)庫(kù)集群故障預(yù)警關(guān)聯(lián)樹生成方法及系統(tǒng)，包括：構(gòu)建M個(gè)本地頻繁一項(xiàng)集表；構(gòu)建初始的M個(gè)本地關(guān)聯(lián)分支樹；將初始的M個(gè)本地關(guān)聯(lián)分支樹發(fā)送至主服務(wù)器，并在主服務(wù)器中建立初始的主關(guān)聯(lián)樹，合并所有重復(fù)項(xiàng)；將所有頻繁項(xiàng)形成為候選二項(xiàng)集表；將候選二項(xiàng)集表發(fā)送到全部M個(gè)本地節(jié)點(diǎn)，通過(guò)剪枝步驟生成頻繁二項(xiàng)集表；重復(fù)上述步驟，直至不能生成更高維的頻繁項(xiàng)集為止，得到最終的預(yù)警事件關(guān)聯(lián)樹。本發(fā)明提出的分布式數(shù)據(jù)庫(kù)集群故障預(yù)警關(guān)聯(lián)樹生成方法及系統(tǒng)，解決了預(yù)警關(guān)聯(lián)樹建立效率低下的問(wèn)題。

技術(shù)領(lǐng)域

本發(fā)明涉及分布式數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是指一種分布式數(shù)據(jù)庫(kù)集群故障預(yù)警關(guān)聯(lián)樹生成方法及系統(tǒng)。

背景技術(shù)

數(shù)據(jù)庫(kù)服務(wù)器集群中，故障的產(chǎn)生往往不是單一故障現(xiàn)象，而是多個(gè)故障現(xiàn)象同時(shí)發(fā)生，但是眾多故障現(xiàn)象的根源往往是由單一故障引起的。由單一故障引起的連鎖故障，通常有其故障之間的相關(guān)性。由于時(shí)間上的發(fā)生順序以及物理連通相關(guān)聯(lián)而引起的關(guān)聯(lián)故障都會(huì)對(duì)系統(tǒng)管理員定位故障源頭造成干擾，因此對(duì)于集群故障預(yù)警系統(tǒng)，需要將因故障預(yù)警事件而引發(fā)的預(yù)警事件過(guò)濾，盡量只保留源頭預(yù)警事件對(duì)系統(tǒng)管理員進(jìn)行預(yù)警通知。

通常的預(yù)警事件過(guò)濾模型主要包括三個(gè)模塊：事件存儲(chǔ)器模塊、預(yù)警事件關(guān)聯(lián)樹生成模塊和預(yù)警事件過(guò)濾模塊，事件存儲(chǔ)器模塊用于存儲(chǔ)需要過(guò)濾的預(yù)警事件；預(yù)警事件關(guān)聯(lián)樹生成模塊讀取規(guī)則庫(kù)中對(duì)預(yù)警事件關(guān)聯(lián)關(guān)系的描述，按照一定的結(jié)構(gòu)來(lái)構(gòu)造和存儲(chǔ)預(yù)警事件關(guān)聯(lián)樹；預(yù)警事件過(guò)濾模塊，按照預(yù)警事件過(guò)濾算法，通過(guò)預(yù)警事件關(guān)聯(lián)樹對(duì)預(yù)警事件進(jìn)行過(guò)濾操作，并將過(guò)濾后的預(yù)警事件傳遞給預(yù)警通知模型。

其中預(yù)警事件關(guān)聯(lián)樹生成模塊作為最重要的模塊，其常用到的關(guān)聯(lián)技術(shù)有：基于規(guī)則的推理、基于事例的推理、有限狀態(tài)機(jī)模型等。

這些關(guān)聯(lián)技術(shù)中，基于規(guī)則的推理結(jié)構(gòu)簡(jiǎn)單，比較容易實(shí)現(xiàn)，但存在以下缺陷：1)推理規(guī)則必須完全匹配，但是預(yù)先為一個(gè)大型網(wǎng)絡(luò)確定所有的故障規(guī)則是非常困難，甚至是不可能的；2)規(guī)則數(shù)量隨網(wǎng)絡(luò)規(guī)模指數(shù)遞增；3)規(guī)則不易維護(hù)；4)事件發(fā)生時(shí)，每次都必須執(zhí)行有關(guān)的規(guī)則，系統(tǒng)速度和性能無(wú)法滿足要求。因此該系統(tǒng)動(dòng)態(tài)改變的能力較差，只能應(yīng)用于不易變化的小型網(wǎng)絡(luò)環(huán)境。

基于事例的推理的缺點(diǎn)是：需要為每個(gè)網(wǎng)元建立一個(gè)模型軟件，當(dāng)網(wǎng)絡(luò)規(guī)模逐漸增大時(shí)這一任務(wù)的復(fù)雜性就會(huì)越來(lái)越高，不適合實(shí)時(shí)事件的關(guān)聯(lián)。

有限狀態(tài)機(jī)模型的缺點(diǎn)是：有限狀態(tài)機(jī)對(duì)被管網(wǎng)絡(luò)存在確定性的要求，但現(xiàn)實(shí)網(wǎng)絡(luò)中存在大量的非確定性和隨機(jī)性因素。

Apriori算法是一種挖掘關(guān)聯(lián)規(guī)則的頻繁項(xiàng)集算法，也是一種常用的基于規(guī)則的推理關(guān)聯(lián)算法，其核心思想是通過(guò)候選集生成和情節(jié)的向下封閉檢測(cè)兩個(gè)階段來(lái)挖掘頻繁項(xiàng)集。

如圖1所示，為現(xiàn)有技術(shù)中Apriori算法的示意圖。

Apriori算法通過(guò)生成的頻繁k項(xiàng)集連接剪枝形成候選(k+1)項(xiàng)集，然后掃描數(shù)據(jù)庫(kù)，生成頻繁(k+1)項(xiàng)集，再利用頻繁(k+1)項(xiàng)集連接剪枝形成候選(k+2)項(xiàng)集，這樣逐層搜索迭代直至不能生成更高的頻繁項(xiàng)集為止。具體過(guò)程如下：

(1)首先掃描數(shù)據(jù)庫(kù)，生成頻繁一項(xiàng)集，構(gòu)建頻繁一項(xiàng)集表L1。

(2)由L1中的頻繁一項(xiàng)集相互連接生成候選二項(xiàng)集，生成候選二項(xiàng)集表C2。

(3)第二次掃描數(shù)據(jù)庫(kù)，對(duì)C2中的二項(xiàng)集進(jìn)行計(jì)數(shù)，找出其中大于最小支持度的二項(xiàng)集，生成頻繁二項(xiàng)集表L2。

(4)由L2中的頻繁二項(xiàng)集連接產(chǎn)生三項(xiàng)集，并根據(jù)性質(zhì)：一個(gè)非頻繁項(xiàng)的所有的超集都是非頻繁的。對(duì)這些生成的三項(xiàng)集進(jìn)行剪枝：如果生成的某三項(xiàng)集中只要有一個(gè)子集不在L2中，那么就把此三項(xiàng)集刪除，最后由未經(jīng)刪除的三項(xiàng)集組成候選三項(xiàng)集表C3。

(5)第三次掃描數(shù)據(jù)庫(kù)，對(duì)C3中的三項(xiàng)集進(jìn)行計(jì)數(shù)，找出大于最小支持度的三項(xiàng)集，生成頻繁三項(xiàng)集表L3。