[發(fā)明專利]一種分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法

在審

• 申請?zhí)枺?/td>: 202210017750.4
• 申請日: 2022-01-07
• 公開（公告）號: CN114357034A
• 公開（公告）日: 2022-04-15
• 發(fā)明（設(shè)計）人: 段元健
• 申請（專利權(quán)）人: 段元健
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/27;G06F16/21
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了一種分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法，涉及數(shù)據(jù)節(jié)點檢測技術(shù)領(lǐng)域。本發(fā)明包括分布式數(shù)據(jù)節(jié)點異常行為告警模塊、分組聚集排序TopK數(shù)據(jù)接收模塊、分組聚集排序TopK數(shù)據(jù)查詢處理模塊和數(shù)據(jù)輸出模塊，分布式數(shù)據(jù)節(jié)點異常行為告警模塊對分布式數(shù)據(jù)節(jié)點的異常行為進行告警，并將告警信息推送至分組聚集排序TopK數(shù)據(jù)接收模塊，然后利用分組聚集排序TopK數(shù)據(jù)查詢處理模塊進行數(shù)據(jù)修正處理，完成后推送至數(shù)據(jù)輸出模塊。本發(fā)明分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法對于數(shù)據(jù)節(jié)點的告警反應(yīng)迅速，數(shù)據(jù)節(jié)點查詢處理效率高，采用分組聚集排序，環(huán)境適應(yīng)能力強，推廣價值高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)節(jié)點檢測技術(shù)領(lǐng)域，特別是涉及一種分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法。

背景技術(shù)

一個分布式數(shù)據(jù)庫在邏輯上是一個統(tǒng)一的整體，在物理上則是分別存儲在不同的物理節(jié)點上，一個應(yīng)用程序通過網(wǎng)絡(luò)的連接可以訪問分布在不同地理位置的數(shù)據(jù)庫，分布式數(shù)據(jù)庫系統(tǒng)是在集中式數(shù)據(jù)庫系統(tǒng)的基礎(chǔ)上發(fā)展起來的，是計算機技術(shù)和網(wǎng)絡(luò)技術(shù)結(jié)合的產(chǎn)物；分布式數(shù)據(jù)庫系統(tǒng)適合于單位分散的部門，允許各個部門將其常用的數(shù)據(jù)存儲在本地，實施就地存放本地使用，從而提高響應(yīng)速度，降低通信費用；分布式數(shù)據(jù)庫系統(tǒng)與集中式數(shù)據(jù)庫系統(tǒng)相比具有可擴展性，通過增加適當?shù)臄?shù)據(jù)冗余，提高系統(tǒng)的可靠性，在集中式數(shù)據(jù)庫中，盡量減少冗余度是系統(tǒng)目標之一，其原因是，冗余數(shù)據(jù)浪費存儲空間，而且容易造成各副本之間的不一致性，而為了保證數(shù)據(jù)的一致性，系統(tǒng)要付出一定的維護代價，減少冗余度的目標是用數(shù)據(jù)共享來達到的，而在分布式數(shù)據(jù)庫中卻希望增加冗余數(shù)據(jù)，在不同的場地存儲同一數(shù)據(jù)的多個副本，其原因是：①．提高系統(tǒng)的可靠性、可用性當某一場地出現(xiàn)故障時，系統(tǒng)可以對另一場地上的相同副本進行操作，不會因一處故障而造成整個系統(tǒng)的癱瘓；②．提高系統(tǒng)性能系統(tǒng)可以根據(jù)距離選擇離用戶最近的數(shù)據(jù)副本進行操作，減少通信代價，改善整個系統(tǒng)的性能，由于分布式網(wǎng)絡(luò)中的分布式數(shù)據(jù)節(jié)點的數(shù)量較多，且分布式數(shù)據(jù)節(jié)點通常會執(zhí)行大量的數(shù)據(jù)處理工作，因此需要對每個分布式數(shù)據(jù)節(jié)點進行異常行為檢測，以保障數(shù)據(jù)安全；

目前對于分布式數(shù)據(jù)節(jié)點異常行為的檢測方法存在一定的局限性，例如運行效率低，對于大容量數(shù)據(jù)的處理應(yīng)對能力不足，并且難以進行任意邏輯間的聚集排序查詢，使用滿足度有待提高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法，解決目前分布式數(shù)據(jù)節(jié)點異常行為的檢測方法運行效率低，對于大容量數(shù)據(jù)的處理應(yīng)對能力不足，并且難以進行任意邏輯間的聚集排序查詢等的問題。

為解決上述技術(shù)問題，本發(fā)明是通過以下技術(shù)方案實現(xiàn)的：

本發(fā)明為一種分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法，包括分布式數(shù)據(jù)節(jié)點異常行為告警模塊、分組聚集排序TopK數(shù)據(jù)接收模塊、分組聚集排序TopK數(shù)據(jù)查詢處理模塊和數(shù)據(jù)輸出模塊，所述分布式數(shù)據(jù)節(jié)點異常行為告警模塊對分布式數(shù)據(jù)節(jié)點的異常行為進行告警，并將告警信息推送至所述分組聚集排序TopK數(shù)據(jù)接收模塊，然后利用分組聚集排序TopK數(shù)據(jù)查詢處理模塊進行數(shù)據(jù)修正處理，完成后推送至數(shù)據(jù)輸出模塊；

所述分組聚集排序TopK查詢處理分布式數(shù)據(jù)節(jié)點異常行為檢測方法，包括如下步驟：

步驟一：分布式數(shù)據(jù)節(jié)點進行異常行為告警，分組聚集排序TopK程序接收查詢請求；

步驟二：分組聚集排序TopK程序?qū)⒐?jié)點若干個數(shù)據(jù)分成S份，每份數(shù)據(jù)相等，找到每份數(shù)據(jù)中最大的N個；

步驟三：基于步驟二，在剩下的S*N個數(shù)據(jù)里面找出最大的M個，以此過濾掉若干數(shù)據(jù)里面99%的數(shù)據(jù)；

步驟四：基于步驟三，用快速排序的方法，找到單份組中最大的數(shù)，依據(jù)單份組中的最大數(shù)，則檢測到單份數(shù)據(jù)中靠前的數(shù)據(jù)；

步驟五：對檢測到的單份數(shù)據(jù)中靠前的數(shù)據(jù)進行輸出比對；

步驟六：完成分布式數(shù)據(jù)節(jié)點異常行為檢測。