[發(fā)明專利]一種基于多線程的分布式數(shù)據(jù)處理方法及服務器

有效

• 申請?zhí)枺?/td>: 201811039237.5
• 申請日: 2018-09-06
• 公開（公告）號: CN109284193B
• 公開（公告）日: 2022-12-09
• 發(fā)明（設計）人: 任練
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F9/52
• 分類號: G06F9/52
• 代理公司: 深圳中一專利商標事務所 44237
• 代理人: 官建紅

1.一種基于多線程的分布式數(shù)據(jù)處理方法，其特征在于，包括：

獲取信息庫所存儲的增量數(shù)據(jù)，并確定與所述增量數(shù)據(jù)的數(shù)據(jù)類型匹配的工作線程；

若所述匹配的工作線程的數(shù)目為至少兩個，則根據(jù)預設的線程令牌表確定所述匹配的工作線程的執(zhí)行順序；

根據(jù)所述匹配的工作線程各自的執(zhí)行順序控制目標分布式設備啟動目標工作線程，以通過所述目標工作線程對所述增量數(shù)據(jù)進行處理；其中，分布式設備用于為工作線程提供運行環(huán)境，所述目標工作線程為當前需要啟動的工作線程，所述目標分布式設備為用于執(zhí)行所述目標工作線程的分布式設備，任意時刻只有一個工作線程處于啟動狀態(tài)；

接收所述目標分布式設備返回的用于標識所述目標工作線程執(zhí)行完成的確認信息；所述確認信息用于重新確定目標工作線程以及啟動所述重新確定的目標工作線程；

所述獲取信息庫所存儲的增量數(shù)據(jù)，并確定與所述增量數(shù)據(jù)的數(shù)據(jù)類型匹配的工作線程之前，還包括：

按預設時間間隔統(tǒng)計每種數(shù)據(jù)類型的數(shù)據(jù)的讀取次數(shù)以及讀取信息量；

基于每種所述數(shù)據(jù)類型的數(shù)據(jù)的讀取次數(shù)以及讀取信息量，確定每種所述數(shù)據(jù)類型的數(shù)據(jù)的活躍度；

將每種所述數(shù)據(jù)類型的數(shù)據(jù)緩存至與所述數(shù)據(jù)類型的數(shù)據(jù)的活躍度匹配的緩存區(qū)域；

所述獲取信息庫所存儲的增量數(shù)據(jù)，并確定與所述增量數(shù)據(jù)的數(shù)據(jù)類型匹配的工作線程，包括：

獲取所述緩存區(qū)域中的增量數(shù)據(jù)，并確定與所述增量數(shù)據(jù)的數(shù)據(jù)類型匹配的工作線程；

所述基于每種所述數(shù)據(jù)類型的數(shù)據(jù)的讀取次數(shù)以及讀取信息量，計算每種所述數(shù)據(jù)類型的數(shù)據(jù)的活躍度，包括：

基于每種所述數(shù)據(jù)類型的數(shù)據(jù)的讀取次數(shù)以及讀取信息量，通過活躍度計算公式計算每種所述數(shù)據(jù)類型的數(shù)據(jù)的活躍度；其中，所述活躍度計算公式為：

所述Acti表示一種數(shù)據(jù)類型的數(shù)據(jù)的活躍度，所述RdWd_m表示第m次所讀取的該種數(shù)據(jù)類型的數(shù)據(jù)的讀取信息量；所述RdWt_m表示該種數(shù)據(jù)類型的數(shù)據(jù)在第m次被讀取時，其讀取信息量所對應的權(quán)重比值系數(shù)；所述RdTime表示預設時間間隔內(nèi)種數(shù)據(jù)類型的數(shù)據(jù)的讀取次數(shù)；所述RdWt_Time表示與所述讀取次數(shù)所屬區(qū)間對應的預設系數(shù)。

2.根據(jù)權(quán)利要求1所述的基于多線程的分布式數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述匹配的工作線程各自的執(zhí)行順序控制目標分布式設備啟動目標工作線程，以通過所述目標工作線程對所述增量數(shù)據(jù)進行處理之后，還包括：

獲取所述目標工作線程對應的預設執(zhí)行時長；

若在所述預設執(zhí)行時長對應的結(jié)束時刻未接收到所述目標分布式設備返回的用于標識所述目標工作線程執(zhí)行完成的確認信息，則向所述目標分布式設備發(fā)送超時告警信息；所述超時告警信息用于通知所述目標分布式設備提示用戶是否終止所述目標工作線程。

3.根據(jù)權(quán)利要求1至2任一項所述的基于多線程的分布式數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述匹配的工作線程各自的執(zhí)行順序控制目標分布式設備啟動目標工作線程，以通過所述目標工作線程對所述增量數(shù)據(jù)進行處理之后，還包括：

獲取所述分布式設備發(fā)送的異常告警日志；

根據(jù)所述異常告警日志統(tǒng)計每個統(tǒng)計周期的告警概率；

根據(jù)每個所述統(tǒng)計周期的告警概率生成告警概率曲線。