[發(fā)明專利]管理數(shù)據(jù)處理系統(tǒng)的日志的方法和系統(tǒng)及計(jì)算機(jī)可讀介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110424674.4
• 申請(qǐng)日: 2021-04-20
• 公開（公告）號(hào): CN113765697B
• 公開（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: E·D·雅各布森;C·M·波克;P·K·阿瑪古姆
• 申請(qǐng)（專利權(quán)）人: 慧與發(fā)展有限責(zé)任合伙企業(yè)
• 主分類號(hào): H04L41/069
• 分類號(hào): H04L41/069;H04L41/0654
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 初媛媛;吳麗麗

本公開提供一種多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的日志管理。計(jì)算機(jī)可讀介質(zhì)包括指令，所述指令在由多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)中的節(jié)點(diǎn)執(zhí)行時(shí)使節(jié)點(diǎn)能夠通過以下操作充當(dāng)?shù)谝活I(lǐng)導(dǎo)節(jié)點(diǎn)：從多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一集群中的多個(gè)計(jì)算節(jié)點(diǎn)接收系統(tǒng)日志數(shù)據(jù)；以及將系統(tǒng)日志數(shù)據(jù)保存在共享存儲(chǔ)裝置中，所述共享存儲(chǔ)裝置也由第二領(lǐng)導(dǎo)節(jié)點(diǎn)和第三領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第二集群和第三集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)。所述指令進(jìn)一步使節(jié)點(diǎn)能夠響應(yīng)于第二領(lǐng)導(dǎo)節(jié)點(diǎn)和第三領(lǐng)導(dǎo)節(jié)點(diǎn)中的任一個(gè)的故障而自動(dòng)承擔(dān)與故障領(lǐng)導(dǎo)節(jié)點(diǎn)相關(guān)聯(lián)的集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志記錄職責(zé)。所述指令還使節(jié)點(diǎn)能夠充當(dāng)控制臺(tái)橋并將控制臺(tái)日志數(shù)據(jù)保存在共享存儲(chǔ)裝置中。

技術(shù)領(lǐng)域

本公開總體涉及多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的日志管理。

背景技術(shù)

具有傳統(tǒng)分層管理的多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)可以包括數(shù)千個(gè)計(jì)算節(jié)點(diǎn)，以及多個(gè)領(lǐng)導(dǎo)節(jié)點(diǎn)和一個(gè)頭節(jié)點(diǎn)。計(jì)算節(jié)點(diǎn)可以在最低層級(jí)處組織成集群。中間層級(jí)可以包括領(lǐng)導(dǎo)節(jié)點(diǎn)，每個(gè)領(lǐng)導(dǎo)節(jié)點(diǎn)管理一個(gè)集群。頭節(jié)點(diǎn)可以在最高層級(jí)處操作。

發(fā)明內(nèi)容

根據(jù)本公開的一方面，提供了一種包括指令的非暫態(tài)計(jì)算機(jī)可讀介質(zhì)，所述指令在由多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)中的節(jié)點(diǎn)執(zhí)行時(shí)，使所述節(jié)點(diǎn)能夠通過進(jìn)行以下操作充當(dāng)?shù)谝活I(lǐng)導(dǎo)節(jié)點(diǎn)：從所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一集群中的多個(gè)計(jì)算節(jié)點(diǎn)接收系統(tǒng)日志數(shù)據(jù)；將所述系統(tǒng)日志數(shù)據(jù)保存在共享存儲(chǔ)裝置中，所述共享存儲(chǔ)裝置也由第二領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存用于所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第二集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)，以及由第三領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存用于所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第三集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)；以及響應(yīng)于所述第二領(lǐng)導(dǎo)節(jié)點(diǎn)和所述第三領(lǐng)導(dǎo)節(jié)點(diǎn)中的任一個(gè)的故障，通過將發(fā)生故障的領(lǐng)導(dǎo)節(jié)點(diǎn)的集群中的計(jì)算節(jié)點(diǎn)的因特網(wǎng)協(xié)議IP地址添加到所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)中的監(jiān)聽列表來自動(dòng)承擔(dān)與所述發(fā)生故障的領(lǐng)導(dǎo)節(jié)點(diǎn)相關(guān)聯(lián)的集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志記錄職責(zé)。

根據(jù)本公開的另一方面，提供了一種用于管理日志的系統(tǒng)，包括：處理器；計(jì)算機(jī)可讀介質(zhì)，所述計(jì)算機(jī)可讀介質(zhì)耦接至所述處理器；以及所述計(jì)算機(jī)可讀介質(zhì)中的指令，所述指令當(dāng)由所述處理器執(zhí)行時(shí)，使所述系統(tǒng)能夠通過進(jìn)行以下操作充當(dāng)多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一領(lǐng)導(dǎo)節(jié)點(diǎn)：從所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一集群中的多個(gè)計(jì)算節(jié)點(diǎn)接收系統(tǒng)日志數(shù)據(jù)；將所述系統(tǒng)日志數(shù)據(jù)保存在共享存儲(chǔ)裝置中，所述共享存儲(chǔ)裝置也由第二領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存用于所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第二集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)，以及由第三領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存用于所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第三集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)；以及響應(yīng)于所述第二領(lǐng)導(dǎo)節(jié)點(diǎn)和所述第三領(lǐng)導(dǎo)節(jié)點(diǎn)中的任一個(gè)的故障，通過將發(fā)生故障的領(lǐng)導(dǎo)節(jié)點(diǎn)的集群中的計(jì)算節(jié)點(diǎn)的因特網(wǎng)協(xié)議IP地址添加到所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)中的監(jiān)聽列表來自動(dòng)承擔(dān)與所述發(fā)生故障的領(lǐng)導(dǎo)節(jié)點(diǎn)相關(guān)聯(lián)的集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志記錄職責(zé)。

根據(jù)本公開的另一方面，提供了一種用于管理多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的日志的方法，所述方法包括：使用所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一領(lǐng)導(dǎo)節(jié)點(diǎn)中的監(jiān)聽列表，在所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)處從所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第一集群中的多個(gè)計(jì)算節(jié)點(diǎn)接收系統(tǒng)日志數(shù)據(jù)，其中，所述監(jiān)聽列表包括要由所述第一集群中的所述計(jì)算節(jié)點(diǎn)使用以將系統(tǒng)日志數(shù)據(jù)發(fā)送至所述第一集群的當(dāng)前領(lǐng)導(dǎo)節(jié)點(diǎn)的第一因特網(wǎng)協(xié)議IP地址；將所述系統(tǒng)日志數(shù)據(jù)保存在共享存儲(chǔ)裝置中，所述共享存儲(chǔ)裝置也由第二領(lǐng)導(dǎo)節(jié)點(diǎn)和第三領(lǐng)導(dǎo)節(jié)點(diǎn)使用以保存所述多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的第二集群和第三集群中的計(jì)算節(jié)點(diǎn)的系統(tǒng)日志數(shù)據(jù)；響應(yīng)于所述第二領(lǐng)導(dǎo)節(jié)點(diǎn)的故障，在所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)處通過將第二IP地址添加到所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)中的所述監(jiān)聽列表來自動(dòng)承擔(dān)用于所述第二集群的系統(tǒng)日志記錄職責(zé)；響應(yīng)于所述第二領(lǐng)導(dǎo)節(jié)點(diǎn)的恢復(fù)，通過從所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)中的所述監(jiān)聽列表移除所述第二IP地址來自動(dòng)讓與用于所述第二集群的系統(tǒng)日志記錄職責(zé)；以及響應(yīng)于所述第三領(lǐng)導(dǎo)節(jié)點(diǎn)的故障，在所述第一領(lǐng)導(dǎo)節(jié)點(diǎn)處自動(dòng)承擔(dān)用于所述第三集群的系統(tǒng)日志記錄職責(zé)。

附圖說明

圖1為根據(jù)示例實(shí)施方式的具有用于系統(tǒng)日志數(shù)據(jù)的彈性日志記錄的技術(shù)的多節(jié)點(diǎn)數(shù)據(jù)處理系統(tǒng)的框圖。

圖2為圖示了根據(jù)示例實(shí)施方式的用于系統(tǒng)日志數(shù)據(jù)的彈性日志記錄的過程的流程圖。