[發(fā)明專利]數(shù)據(jù)處理方法、系統(tǒng)、電子設(shè)備以及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110944031.2
• 申請(qǐng)日: 2021-08-17
• 公開(kāi)（公告）號(hào): CN113626869A
• 公開(kāi)（公告）日: 2021-11-09
• 發(fā)明（設(shè)計(jì)）人: 耿帥
• 申請(qǐng)（專利權(quán)）人: 未鯤（上海）科技服務(wù)有限公司
• 主分類號(hào): G06F21/62
• 分類號(hào): G06F21/62;G06F21/31;G06F16/2455
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng)

1.一種數(shù)據(jù)處理方法，其特征在于，應(yīng)用于包括消息系統(tǒng)、多個(gè)第一業(yè)務(wù)系統(tǒng)與多個(gè)第二業(yè)務(wù)系統(tǒng)的大數(shù)據(jù)系統(tǒng)，所述多個(gè)第一業(yè)務(wù)系統(tǒng)用于生成數(shù)據(jù)，所述多個(gè)第二業(yè)務(wù)系統(tǒng)用于通過(guò)所述消息系統(tǒng)消費(fèi)所述多個(gè)第一業(yè)務(wù)系統(tǒng)生成的數(shù)據(jù)，所述方法包括：

所述消息系統(tǒng)獲取所述第二業(yè)務(wù)系統(tǒng)的數(shù)據(jù)訪問(wèn)請(qǐng)求，所述數(shù)據(jù)訪問(wèn)請(qǐng)求包括所述第二業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)以及第一預(yù)設(shè)條件，所述第一預(yù)設(shè)條件是所述第二業(yè)務(wù)系統(tǒng)的用戶設(shè)置的；

所述消息系統(tǒng)根據(jù)所述第二業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)，確定與所述第二業(yè)務(wù)系統(tǒng)關(guān)聯(lián)的目標(biāo)消息類型和第二預(yù)設(shè)條件，所述第二預(yù)設(shè)條件是所述第二業(yè)務(wù)系統(tǒng)關(guān)聯(lián)的條件和/或所述目標(biāo)消息類型關(guān)聯(lián)的條件；

所述消息系統(tǒng)根據(jù)所述第二預(yù)設(shè)條件從目標(biāo)節(jié)點(diǎn)中獲取所述目標(biāo)消息類型對(duì)應(yīng)的數(shù)據(jù)中的第一數(shù)據(jù)，并根據(jù)所述第一預(yù)設(shè)條件從所述第一數(shù)據(jù)中獲取目標(biāo)數(shù)據(jù)，所述目標(biāo)節(jié)點(diǎn)是存儲(chǔ)所述目標(biāo)消息類型的數(shù)據(jù)的多個(gè)節(jié)點(diǎn)中的主節(jié)點(diǎn)；

所述消息系統(tǒng)將所述目標(biāo)數(shù)據(jù)發(fā)送給所述第二業(yè)務(wù)系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述消息系統(tǒng)根據(jù)所述第二預(yù)設(shè)條件從所述目標(biāo)消息類型對(duì)應(yīng)的數(shù)據(jù)中獲取第一數(shù)據(jù)，并根據(jù)所述第一預(yù)設(shè)條件從所述第一數(shù)據(jù)中獲取目標(biāo)數(shù)據(jù)，包括：

根據(jù)所述第二業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)，確定所述第二業(yè)務(wù)系統(tǒng)上一次從所述目標(biāo)消息類型中訪問(wèn)的數(shù)據(jù)；

根據(jù)所述第二預(yù)設(shè)條件以及所述第二業(yè)務(wù)系統(tǒng)上一次從所述目標(biāo)消息類型中訪問(wèn)的數(shù)據(jù)，獲取所述第一數(shù)據(jù)；

根據(jù)所述第一預(yù)設(shè)條件從所述第一數(shù)據(jù)中獲取所述目標(biāo)數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述消息系統(tǒng)根據(jù)所述第二業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)，確定與所述第二業(yè)務(wù)系統(tǒng)關(guān)聯(lián)的目標(biāo)消息類型和第二預(yù)設(shè)條件之前，還包括：

在所述數(shù)據(jù)訪問(wèn)請(qǐng)求包括所述目標(biāo)消息類型的標(biāo)識(shí)時(shí)，所述消息系統(tǒng)確定所述第二業(yè)務(wù)系統(tǒng)是首次從所述消息系統(tǒng)獲取數(shù)據(jù)；

所述消息系統(tǒng)根據(jù)所述第二業(yè)務(wù)系統(tǒng)的標(biāo)識(shí)與所述目標(biāo)消息類型的標(biāo)識(shí)建立所述第二業(yè)務(wù)系統(tǒng)與所述目標(biāo)消息類型之間的關(guān)聯(lián)關(guān)系。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述消息系統(tǒng)包括分布式存儲(chǔ)系統(tǒng)，在所述消息系統(tǒng)獲取所述第二業(yè)務(wù)系統(tǒng)的數(shù)據(jù)訪問(wèn)請(qǐng)求之前，所述方法還包括：

所述消息系統(tǒng)接收到所述第一業(yè)務(wù)系統(tǒng)發(fā)送的第三數(shù)據(jù)；

所述消息系統(tǒng)確定所述第三數(shù)據(jù)的消息類型；

所述消息系統(tǒng)將所述第三數(shù)據(jù)存儲(chǔ)至多個(gè)目標(biāo)節(jié)點(diǎn)中每個(gè)節(jié)點(diǎn)的目標(biāo)存儲(chǔ)隊(duì)列中，所述目標(biāo)存儲(chǔ)隊(duì)列是用于存儲(chǔ)所述消息類型對(duì)應(yīng)的數(shù)據(jù)的隊(duì)列中，所述多個(gè)目標(biāo)節(jié)點(diǎn)是所述分布式存儲(chǔ)系統(tǒng)中的部分或全部存儲(chǔ)節(jié)點(diǎn)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述消息系統(tǒng)將所述第三數(shù)據(jù)存儲(chǔ)至多個(gè)存儲(chǔ)節(jié)點(diǎn)中所述消息類型對(duì)應(yīng)的存儲(chǔ)隊(duì)列中，包括：

所述消息系統(tǒng)將所述第三數(shù)據(jù)進(jìn)行序列化操作得到序列化后的第三數(shù)據(jù)，所述序列化操作用于將從所述第一業(yè)務(wù)系統(tǒng)獲取得到的數(shù)據(jù)的數(shù)據(jù)類型從對(duì)象轉(zhuǎn)化為字節(jié)序列；

所述消息系統(tǒng)將所述序列化后的第三數(shù)據(jù)存儲(chǔ)到所述多個(gè)目標(biāo)節(jié)點(diǎn)的所述目標(biāo)存儲(chǔ)隊(duì)列中。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述消息系統(tǒng)將所述目標(biāo)數(shù)據(jù)發(fā)送給所述第二業(yè)務(wù)系統(tǒng)，包括：

所述消息系統(tǒng)將所述目標(biāo)數(shù)據(jù)進(jìn)行反序列化操作，所述反序列化操作用于將序列化存儲(chǔ)的數(shù)據(jù)的數(shù)據(jù)類型從字節(jié)序列轉(zhuǎn)化為對(duì)象；

所述消息系統(tǒng)將反序列化后的目標(biāo)數(shù)據(jù)發(fā)送給所述第二業(yè)務(wù)系統(tǒng)。