[發(fā)明專利]基于Ignite的分布式數(shù)據(jù)處理方法、裝置及計算機設備

有效

• 申請?zhí)枺?/td>: 202011246206.4
• 申請日: 2020-11-10
• 公開（公告）號: CN112363832B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設計）人: 周毅
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F18/23;G06F8/41;H04L67/10
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李翔宇

本發(fā)明公開了基于Ignite的分布式數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質，涉及云部署的分布式部署技術，包括將所接收待計算數(shù)據(jù)集進行聚類得到聚類結果；統(tǒng)計各聚類簇中數(shù)據(jù)總條數(shù)為最小值的最小聚類簇，將其發(fā)送至Ignite集群中的各Ignite節(jié)點；獲取聚類結果中最小聚類簇之外的其他聚類簇，將各其他聚類簇發(fā)送至對應的Ignite節(jié)點；獲取本地接收的本地待計算數(shù)據(jù)集并獲取與其對應的計算規(guī)則，將計算規(guī)則進行解析得到對應的計算表達式；根據(jù)計算表達式對本地待計算數(shù)據(jù)集進行運算，得到并保存本地計算結果。實現(xiàn)了將客戶端程序在數(shù)據(jù)緩存集群中，可以快速的獲取數(shù)據(jù)并通過計算引擎進行計算，且支持對自定義規(guī)則表達式進行解析和執(zhí)行。

技術領域

本發(fā)明涉及云部署的分布式部署技術領域，尤其涉及一種基于Ignite的分布式數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質。

背景技術

目前，基于大數(shù)據(jù)架構進行數(shù)據(jù)運算時，主要包括在Oracle中進行計算或者使用Hadoop、Spark等大數(shù)據(jù)組件進行計算。如果使用Oracle進行計算，難以實現(xiàn)高并發(fā)和擴展性。使用Hadoop或者Spark進行計算時，對于復雜的大型SQL支持較弱，沒有索引，導致計算效率不足。而且上述兩種方式都無法實現(xiàn)計算規(guī)則的配置化，也無法實現(xiàn)在線實時更新計算規(guī)則。

發(fā)明內容

本發(fā)明實施例提供了一種基于Ignite的分布式數(shù)據(jù)處理方法、裝置、計算機設備及存儲介質，旨在解決現(xiàn)有技術中使用Oracle進行計算時，對于復雜的大型SQL支持較弱，導致計算效率不足，且無法實現(xiàn)計算規(guī)則的配置化的問題。

第一方面，本發(fā)明實施例提供了一種基于Ignite的分布式數(shù)據(jù)處理方法，其包括：

若本地已搭載Ignite程序JAR包，將Ignite節(jié)點的當前在線狀態(tài)保存在本地；

若接收到待計算數(shù)據(jù)集，獲取所述待計算數(shù)據(jù)集中所包括的待計算數(shù)據(jù)；

解析獲取所述待計算數(shù)據(jù)的數(shù)據(jù)分組屬性，將所述待計算數(shù)據(jù)集根據(jù)數(shù)據(jù)分組屬性進行聚類，以得到聚類結果；

獲取所述聚類結果中所包括的聚類簇，統(tǒng)計所述聚類簇中所包括所述待計算數(shù)據(jù)的數(shù)據(jù)總條數(shù)為最小值的最小聚類簇，將所述最小聚類簇發(fā)送至Ignite集群中的各個Ignite節(jié)點；

獲取所述聚類結果中最小聚類簇之外的其他聚類簇，將各其他聚類簇根據(jù)該聚類簇對應的數(shù)據(jù)分組屬性發(fā)送至Ignite集群中對應的Ignite節(jié)點；

獲取本地接收的聚類簇和最小聚類簇，以組成本地待計算數(shù)據(jù)集；其中，本地接收的聚類簇為所述聚類結果中最小聚類簇之外的其他聚類簇中的其中一個聚類簇；

獲取預設的計算規(guī)則，將所述計算規(guī)則進行解析得到對應的計算表達式；以及

根據(jù)所述計算表達式對所述本地待計算數(shù)據(jù)集進行運算，得到并保存本地計算結果。

第二方面，本發(fā)明實施例提供了一種基于Ignite的分布式數(shù)據(jù)處理裝置，其包括：

在線狀態(tài)保存單元，用于若本地已搭載Ignite程序JAR包，將Ignite節(jié)點的當前在線狀態(tài)保存在本地；

待計算數(shù)據(jù)集接收單元，用于若接收到待計算數(shù)據(jù)集，獲取所述待計算數(shù)據(jù)集中所包括的待計算數(shù)據(jù)；

聚類單元，用于解析獲取所述待計算數(shù)據(jù)的數(shù)據(jù)分組屬性，將所述待計算數(shù)據(jù)集根據(jù)數(shù)據(jù)分組屬性進行聚類，以得到聚類結果；

最小聚類簇獲取單元，用于獲取所述聚類結果中所包括的聚類簇，統(tǒng)計所述聚類簇中所包括所述待計算數(shù)據(jù)的數(shù)據(jù)總條數(shù)為最小值的最小聚類簇，將所述最小聚類簇發(fā)送至Ignite集群中的各個Ignite節(jié)點；