[發(fā)明專利]一種分布式系統(tǒng)的數(shù)據(jù)處理方法、裝置、設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010037400.5
• 申請日: 2020-01-14
• 公開（公告）號: CN111258724A
• 公開（公告）日: 2020-06-09
• 發(fā)明（設(shè)計）人: 趙善亮
• 申請（專利權(quán)）人: 平安銀行股份有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/54
• 代理公司: 北京英特普羅知識產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

1.一種分布式系統(tǒng)的數(shù)據(jù)處理方法，其特征在于，所述方法包括：

接收數(shù)據(jù)處理信號，確定待處理數(shù)據(jù)的數(shù)據(jù)量；

從分布式系統(tǒng)中確定出用于處理所述待處理數(shù)據(jù)的內(nèi)部處理節(jié)點，并統(tǒng)計所述內(nèi)部處理節(jié)點的數(shù)量，作為內(nèi)部處理節(jié)點數(shù)量；

獲取期望處理時長，其中，所述期望處理時長為期望處理所述待處理數(shù)據(jù)所花費的時長；

獲取歷史數(shù)據(jù)的歷史參數(shù)，其中，所述歷史參數(shù)包括：所述歷史數(shù)據(jù)的數(shù)據(jù)量、所述分布式系統(tǒng)中處理所述歷史數(shù)據(jù)的歷史節(jié)點的數(shù)量和處理所述歷史數(shù)據(jù)所花費的時長；

根據(jù)所述歷史參數(shù)、所述待處理數(shù)據(jù)的數(shù)據(jù)量、所述內(nèi)部處理節(jié)點數(shù)量和所述期望處理時長判斷所述內(nèi)部處理節(jié)點能否在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)；

當(dāng)判定所述內(nèi)部處理節(jié)點不能在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)時，選擇一個或多個外部節(jié)點添加至所述分布式系統(tǒng)，并使所述內(nèi)部處理節(jié)點和所述外部節(jié)點共同處理所述待處理數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，獲取歷史數(shù)據(jù)的歷史參數(shù)的步驟包括：

獲取N個預(yù)定標(biāo)簽，其中，每個所述預(yù)定標(biāo)簽關(guān)聯(lián)一批或多批所述歷史數(shù)據(jù)，且處理每批所述歷史數(shù)據(jù)所花費的時長在所述歷史數(shù)據(jù)關(guān)聯(lián)的所述預(yù)定標(biāo)簽表征的時長范圍內(nèi)，N為大于等于1的正整數(shù)；

從N個所述預(yù)定標(biāo)簽中確定出目標(biāo)標(biāo)簽，其中，所述期望處理時長在所述目標(biāo)標(biāo)簽表征的所述時長范圍內(nèi)；

獲取所述目標(biāo)標(biāo)簽關(guān)聯(lián)的所述歷史數(shù)據(jù)的所述歷史參數(shù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，獲取所述目標(biāo)標(biāo)簽關(guān)聯(lián)的所述歷史數(shù)據(jù)的所述歷史參數(shù)的步驟包括：

判斷所述目標(biāo)標(biāo)簽關(guān)聯(lián)的所述歷史數(shù)據(jù)是否存在多批；

在所述目標(biāo)標(biāo)簽關(guān)聯(lián)的所述歷史數(shù)據(jù)存在多批時，獲取處理每批所述歷史數(shù)據(jù)所花費的時長，作為一個歷史處理時長；

從獲取的所有所述歷史處理時長中確定出與所述期望處理時長的時間間隔最小的所述歷史處理時長，作為目標(biāo)處理時長；

獲取所有批所述歷史數(shù)據(jù)中與所述目標(biāo)處理時長對應(yīng)的所述歷史數(shù)據(jù)的所述歷史參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述歷史參數(shù)、所述待處理數(shù)據(jù)的數(shù)據(jù)量、所述內(nèi)部處理節(jié)點數(shù)量和所述期望處理時長判斷所述內(nèi)部處理節(jié)點能否在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)的步驟包括：

計算所述分布式系統(tǒng)中每個處理所述歷史數(shù)據(jù)的歷史節(jié)點在單位時間內(nèi)處理所述歷史數(shù)據(jù)的數(shù)據(jù)量大小，作為單位時間處理數(shù)據(jù)量；

將所述單位時間處理數(shù)據(jù)量、所述內(nèi)部處理節(jié)點數(shù)量和所述期望處理時長的乘積與所述待處理數(shù)據(jù)的數(shù)據(jù)量比較，以判斷所述內(nèi)部處理節(jié)點能否在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)；或者

將所述待處理數(shù)據(jù)的數(shù)據(jù)量、所述單位時間處理數(shù)據(jù)量和所述內(nèi)部處理節(jié)點數(shù)量之商與所述期望處理時長比較，以判斷所述內(nèi)部處理節(jié)點能否在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)；或者

將所述待處理數(shù)據(jù)的數(shù)據(jù)量、所述單位時間處理數(shù)據(jù)量和所述期望處理時長之商與所述內(nèi)部處理節(jié)點數(shù)量比較，以判斷所述內(nèi)部處理節(jié)點能否在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，選擇一個或多個外部節(jié)點添加至所述分布式系統(tǒng)的步驟包括：

將所述待處理數(shù)據(jù)的數(shù)據(jù)量、所述單位時間處理數(shù)據(jù)量和所述期望處理時長之商確定為在所述期望處理時長內(nèi)處理完所述待處理數(shù)據(jù)所需的總節(jié)點數(shù)量；

計算所述總節(jié)點數(shù)量和所述內(nèi)部處理節(jié)點數(shù)量的差值；

選擇所述差值個所述外部節(jié)點添加至所述分布式系統(tǒng)。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述待處理數(shù)據(jù)被切分為多個數(shù)據(jù)分片，所述方法還包括：

在所述內(nèi)部處理節(jié)點和所述外部節(jié)點共同處理所述待處理數(shù)據(jù)的過程中，監(jiān)聽獲知存在異常分片，確定所述異常分片所在的節(jié)點，其中，切分得到的所述數(shù)據(jù)分片包括所述異常分片；

控制所述異常分片所在的節(jié)點將所述異常分片發(fā)送至預(yù)定緩存隊列；

監(jiān)聽獲知切分得到的所述數(shù)據(jù)分片中的正常分片全部被處理完成，控制所述內(nèi)部處理節(jié)點和所述外部節(jié)點重新處理所述預(yù)定緩存隊列中存儲的所有所述異常分片。