[發(fā)明專利]分布式數(shù)據(jù)聚合方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011207551.7
• 申請(qǐng)日: 2020-11-03
• 公開（公告）號(hào): CN112307066B
• 公開（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 徐建誠
• 申請(qǐng)（專利權(quán)）人: 平安普惠企業(yè)管理有限公司
• 主分類號(hào): G06F16/2455
• 分類號(hào): G06F16/2455;G06F16/2458;G06F16/25;G06F16/27
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 姚維

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，公開了一種分布式數(shù)據(jù)聚合方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)，用于對(duì)數(shù)據(jù)進(jìn)行分布式聚合，分布式聚合方法應(yīng)用于分布式數(shù)據(jù)聚合系統(tǒng)，分布式數(shù)據(jù)聚合系統(tǒng)包括聚合管理平臺(tái)、N個(gè)應(yīng)用系統(tǒng)和M個(gè)數(shù)據(jù)源，該方法包括：N個(gè)應(yīng)用系統(tǒng)中接收聚合管理平臺(tái)發(fā)送的數(shù)據(jù)查詢指令的應(yīng)用系統(tǒng)通過自身配置的聚合SDK解析接收到的數(shù)據(jù)查詢指令，配置對(duì)應(yīng)的數(shù)據(jù)源并從對(duì)應(yīng)的數(shù)據(jù)源中獲取數(shù)據(jù)查詢指令查詢的數(shù)據(jù)，將數(shù)據(jù)進(jìn)行聚合計(jì)算，得到數(shù)據(jù)結(jié)果；各應(yīng)用系統(tǒng)將數(shù)據(jù)結(jié)果發(fā)送至聚合管理平臺(tái)，通過聚合管理平臺(tái)將所有數(shù)據(jù)結(jié)果發(fā)送至N個(gè)應(yīng)用系統(tǒng)中有數(shù)據(jù)查詢需求的應(yīng)用系統(tǒng)。此外，本發(fā)明還涉及區(qū)塊鏈技術(shù)，數(shù)據(jù)結(jié)果可存儲(chǔ)于區(qū)塊鏈中。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種分布式數(shù)據(jù)聚合方法、系統(tǒng)、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的不斷發(fā)展，在云環(huán)境進(jìn)行業(yè)務(wù)數(shù)據(jù)的存儲(chǔ)和統(tǒng)計(jì)也越來越普遍，例如，對(duì)QPS(Query?Per?Second，每秒查詢率)、PV(Page?View，頁面瀏覽量)等不同類型的業(yè)務(wù)數(shù)據(jù)進(jìn)行存儲(chǔ)和統(tǒng)計(jì)。由于在云環(huán)境下存儲(chǔ)的數(shù)據(jù)量大，因此在對(duì)云環(huán)境的存儲(chǔ)的海量業(yè)務(wù)數(shù)據(jù)進(jìn)行統(tǒng)計(jì)時(shí)，需要對(duì)海量的業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合。

目前，在對(duì)云環(huán)境中存儲(chǔ)的海量業(yè)務(wù)數(shù)據(jù)進(jìn)行聚合時(shí)，首先將不同時(shí)間段接收到的業(yè)務(wù)數(shù)據(jù)寫入到數(shù)據(jù)源中，在應(yīng)用系統(tǒng)存在數(shù)據(jù)聚合需求時(shí)，通過綜合查詢平臺(tái)等集中式從數(shù)據(jù)源中讀取需要聚合的某一類別的全部業(yè)務(wù)數(shù)據(jù)，最后將讀取的業(yè)務(wù)數(shù)據(jù)按照時(shí)間進(jìn)行排序后進(jìn)行數(shù)據(jù)聚合。然而，由于整個(gè)數(shù)據(jù)聚合的過程是通過綜合查詢平臺(tái)集中式完成的，數(shù)據(jù)聚合過于集中會(huì)導(dǎo)致以下問題：1、當(dāng)綜合查詢平臺(tái)出現(xiàn)宕機(jī)時(shí)，關(guān)聯(lián)的系統(tǒng)會(huì)受到影響，穩(wěn)定性差；2、在業(yè)務(wù)高峰期大量并發(fā)對(duì)服務(wù)器資源爭(zhēng)搶問題，關(guān)鍵業(yè)務(wù)性能難以保證，存在性能瓶頸；3、性能擴(kuò)展受限于平臺(tái)集群擴(kuò)展能力，集群的擴(kuò)展需要停機(jī)維護(hù)，擴(kuò)展靈活性不足，性能拓展困難。

發(fā)明內(nèi)容

本發(fā)明的主要目的在于解決現(xiàn)有的數(shù)據(jù)聚合過于集中式導(dǎo)致穩(wěn)定性差和性能難以拓展的技術(shù)問題。

本發(fā)明第一方面提供了一種分布式數(shù)據(jù)聚合方法，所述分布式聚合方法應(yīng)用于分布式數(shù)據(jù)聚合系統(tǒng)，所述分布式數(shù)據(jù)聚合系統(tǒng)包括聚合管理平臺(tái)、N個(gè)應(yīng)用系統(tǒng)和M個(gè)數(shù)據(jù)源，所述聚合管理平臺(tái)與所述N個(gè)應(yīng)用系統(tǒng)通信連接，所述N個(gè)應(yīng)用系統(tǒng)與所述M個(gè)數(shù)據(jù)源通信連接，所述分布式數(shù)據(jù)聚合方法包括：

所述N個(gè)應(yīng)用系統(tǒng)中有數(shù)據(jù)查詢需求的應(yīng)用系統(tǒng)向所述聚合管理平臺(tái)發(fā)送數(shù)據(jù)查詢請(qǐng)求，其中，所述N為不小于1的自然數(shù)；

所述聚合管理平臺(tái)解析所述數(shù)據(jù)查詢請(qǐng)求，并生成數(shù)據(jù)查詢指令發(fā)送至所述N個(gè)應(yīng)用系統(tǒng)中的對(duì)應(yīng)的應(yīng)用系統(tǒng)；

接收到所述數(shù)據(jù)查詢指令的應(yīng)用系統(tǒng)通過自身配置的聚合SDK解析所述數(shù)據(jù)查詢指令，從所述M個(gè)數(shù)據(jù)源中配置對(duì)應(yīng)的數(shù)據(jù)源，其中，所述M為不小于1的自然數(shù)；

接收到所述數(shù)據(jù)查詢指令的應(yīng)用系統(tǒng)從對(duì)應(yīng)的數(shù)據(jù)源中獲取所述數(shù)據(jù)查詢指令查詢的數(shù)據(jù)；

接收到所述數(shù)據(jù)查詢指令的應(yīng)用系統(tǒng)通過自身配置的聚合SDK將所述數(shù)據(jù)進(jìn)行聚合計(jì)算，得到數(shù)據(jù)結(jié)果；

各接收到所述數(shù)據(jù)查詢指令的應(yīng)用系統(tǒng)將獲得的數(shù)據(jù)結(jié)果發(fā)送至所述聚合管理平臺(tái)，通過所述聚合管理平臺(tái)將所有所述數(shù)據(jù)結(jié)果發(fā)送至所述N個(gè)應(yīng)用系統(tǒng)中有數(shù)據(jù)查詢需求的應(yīng)用系統(tǒng)。

可選的，在本發(fā)明第一方面的第一種實(shí)現(xiàn)方式中，在所述所述N個(gè)應(yīng)用系統(tǒng)中有數(shù)據(jù)查詢需求的應(yīng)用系統(tǒng)向所述聚合管理平臺(tái)發(fā)送數(shù)據(jù)查詢請(qǐng)求之前，還包括：

獲取具有數(shù)據(jù)聚合功能的應(yīng)用程序的源代碼；

對(duì)所述源代碼進(jìn)行解析，并提取出應(yīng)用程序編程接口的接口信息；

獲取預(yù)設(shè)編程語言對(duì)應(yīng)的SDK模板，所述SDK模板包括待填充項(xiàng)；