[發明專利]一種數據分析系統、方法及裝置

有效

• 申請號: 201811015149.1
• 申請日: 2018-08-31
• 公開（公告）號: CN110874371B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 馮仁光
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

1.一種數據分析系統，其特征在于，包括：應用設備、聯機分析集群和聯機事務集群，所述聯機分析集群中包括管理部件、互聯通信部件和計算部件，所述聯機事務集群中包括分布式中間部件和數據庫部件；其中，

所述應用設備，用于接收業務請求，確定適用于所述業務請求的集群；若所確定的集群為聯機分析集群，則根據所述業務請求，向所述聯機分析集群發送第一業務指令；若所確定的集群為聯機事務集群，則根據所述業務請求，向所述聯機事務集群發送第二業務指令；

所述管理部件，用于在接收到所述應用設備發送的第一業務指令后，根據所述第一業務指令，生成所述第一業務指令對應的任務，并通過所述互聯通信部件將所生成的任務下發至所述計算部件；

所述計算部件，用于執行所述第一業務指令對應的任務；

所述分布式中間部件，用于在接收到所述應用設備發送的第二業務指令后，根據所述第二業務指令，向所述數據庫部件下發所述第二業務指令對應的任務；

所述數據庫部件，用于執行所述第二業務指令對應的任務；

所述應用設備，還用于根據所述業務請求的發送方與集群之間的綁定關系，確定適用于所述業務請求的集群；

其中，所述聯機分析集群為聯機分析處理OLAP集群，所述聯機事務集群為聯機事務處理過程OLTP集群；

所述系統還包括：公共備用集群，所述聯機分析集群、所述聯機事務集群和所述公共備用集群中存儲的業務數據是相同的，所述公共備用集群包括備用部件；其中，

所述互聯通信部件，還用于如果所述管理部件發現所述聯機分析集群中不存在可用的計算部件，向所述公共備用集群下發所述第一業務指令對應的任務；所述備用部件，用于執行所述第一業務指令對應的任務；

和/或，

所述分布式中間部件，還用于如果所述分布式中間部件發現所述聯機事務集群中不存在可用的數據庫部件，向所述公共備用集群下發所述第二業務指令對應的任務；所述備用部件，用于執行所述第二業務指令對應的任務。

2.根據權利要求1所述的系統，其特征在于，所述應用設備，還用于：

在接收到業務請求后，根據所述業務請求的屬性，確定適用于所述業務請求的集群。

3.根據權利要求1所述的系統，其特征在于，所述聯機分析集群為Greenplum數據庫，所述聯機事務集群為Cobar系統或者TDDL系統。

4.一種數據分析方法，其特征在于，應用于數據分析系統中的應用設備，所述數據分析系統還包括：聯機分析集群和聯機事務集群，所述聯機分析集群包括計算部件，所述聯機事務集群包括數據庫部件，包括：

接收業務請求，確定適用于所述業務請求的集群；

若所確定的集群為所述聯機分析集群，則根據所述業務請求，向所述聯機分析集群發送第一業務指令，以使所述聯機分析集群中的計算部件執行所述第一業務指令對應的任務；

若所確定的集群為所述聯機事務集群，則根據所述業務請求，向所述聯機事務集群發送第二業務指令，以使所述聯機事務集群中的數據庫部件執行所述第二業務指令對應的任務；

所述確定適用于所述業務請求的集群，包括：

根據所述業務請求的發送方與集群之間的綁定關系，確定適用于所述業務請求的集群；

其中，所述聯機分析集群為聯機分析處理OLAP集群，所述聯機事務集群為聯機事務處理過程OLTP集群；

所述系統還包括：公共備用集群，所述聯機分析集群、所述聯機事務集群和所述公共備用集群中存儲的業務數據是相同的，所述公共備用集群包括備用部件；

所述方法還包括：

若所確定的集群為所述聯機分析集群，則根據所述業務請求，向所述聯機分析集群發送第一業務指令，以使所述聯機分析集群中的管理部件發現所述聯機分析集群中不存在可用的計算部件時，通過所述聯機分析集群中的互聯通信部件向所述公共備用集群下發所述第一業務指令對應的任務，以使所述公共備用集群中的備用部件于執行所述第一業務指令對應的任務；

若所確定的集群為所述聯機事務集群，則根據所述業務請求，向所述聯機事務集群發送第二業務指令，以使所述聯機事務集群中的分布式中間部件發現所述聯機事務集群中不存在可用的數據庫部件時，通過所述分布式中間部件向所述公共備用集群下發所述第二業務指令對應的任務，以使所述公共備用集群中的備用部件執行所述第二業務指令對應的任務。