[發明專利]一種數據分析系統、方法及裝置

有效

• 申請號: 201811015149.1
• 申請日: 2018-08-31
• 公開（公告）號: CN110874371B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 馮仁光
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/25
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 張聰聰;馬敬

本發明實施例提供了一種數據分析系統、方法及裝置，該系統包括：應用設備、聯機分析集群和聯機事務集群；應用設備，接收到業務請求后，確定適用于該業務請求的集群；若確定為聯機分析集群，則向聯機分析集群發送第一業務指令，以使聯機分析集群執行相應的任務；若確定為聯機事務集群，則向聯機事務集群發送第二業務指令，以使聯機事務集群執行相應的任務；本方案中，集群的數據處理能力強，能夠對大數據進行分析處理。

技術領域

本發明涉及分布式技術領域，特別是涉及一種數據分析系統、方法及裝置。

背景技術

大數據在各行業都發揮著巨大的作用。大數據可以理解為：無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。

基于此，需要提供一種對大數據進行分析處理的方案。

發明內容

本發明實施例的目的在于提供一種數據分析系統、方法及裝置，以實現對大數據進行分析處理。

為達到上述目的，本發明實施例提供了一種數據分析系統，包括：應用設備、聯機分析集群和聯機事務集群，所述聯機分析集群中包括管理部件、互聯通信部件和計算部件，所述聯機事務集群中包括分布式中間部件和數據庫部件；其中，

所述應用設備，用于接收業務請求，確定適用于所述業務請求的集群；若所確定的集群為聯機分析集群，則根據所述業務請求，向所述聯機分析集群發送第一業務指令；若所確定的集群為聯機事務集群，則根據所述業務請求，向所述聯機事務集群發送第二業務指令；

所述管理部件，用于在接收到所述應用設備發送的第一業務指令后，根據所述第一業務指令，生成所述第一業務指令對應的任務，并通過所述互聯通信部件將所生成的任務下發至所述計算部件；

所述計算部件，用于執行所述第一業務指令對應的任務；

所述分布式中間部件，用于在接收到所述應用設備發送的第二業務指令后，根據所述第二業務指令，向所述數據庫部件下發所述第二業務指令對應的任務；

所述數據庫部件，用于執行所述第二業務指令對應的任務。

可選的，所述系統還包括：公共備用集群，所述公共備用集群包括備用部件；其中，

所述互聯通信部件，還用于向所述公共備用集群下發所述第一業務指令對應的任務；所述備用部件，用于執行所述第一業務指令對應的任務；

和/或，

所述分布式中間部件，還用于向所述公共備用集群下發所述第二業務指令對應的任務；所述備用部件，用于執行所述第二業務指令對應的任務。

可選的，所述應用設備，還用于：

在接收到業務請求后，根據所述業務請求的屬性，確定適用于所述業務請求的集群；或者，根據所述業務請求的發送方與集群之間的綁定關系，確定適用于所述業務請求的集群。

可選的，所述聯機分析集群為Greenplum數據庫，所述聯機事務集群為Cobar系統或者TDDL系統。

為達到上述目的，本發明實施例還提供了一種數據分析方法，包括：

接收業務請求，確定適用于所述業務請求的集群；

若所確定的集群為聯機分析集群，則根據所述業務請求，向所述聯機分析集群發送第一業務指令，以使所述聯機分析集群中的計算部件執行所述第一業務指令對應的任務；

若所確定的集群為聯機事務集群，則根據所述業務請求，向所述聯機事務集群發送第二業務指令，以使所述聯機事務集群中的數據庫部件執行所述第二業務指令對應的任務。