[發明專利]基于分布式存儲的金融數據計算系統、方法及裝置

在審

• 申請號: 202110472661.4
• 申請日: 2021-04-29
• 公開（公告）號: CN113127567A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 江偉;申玉;阮曙東
• 申請（專利權）人: 武漢優品楚鼎科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06Q40/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 謝志超

1.一種基于分布式存儲的金融數據計算系統，其特征在于，包括獲取模塊、存儲模塊以及計算模塊；

所述獲取模塊能夠獲取金融數據，并基于分布式一致性協議存儲所述金融數據至存儲模塊；

所述存儲模塊為基于分布式一致性協議構建的分布式存儲模塊，包括第一存儲節點和第二存儲節點；所述存儲模塊能夠接收金融數據并存儲至第二存儲節點；

所述計算模塊能夠通過第一存儲節點只讀地調取存儲在第二存儲節點的金融數據，并根據設定的計算方法進行計算。

2.根據權利要求1所述的基于分布式存儲的金融數據計算系統，其特征在于，所述分布式一致性協議包括Raft協議；所述第二存儲節點對應于Raft協議中的領導者leader；所述第一存儲節點為基于Raft協議引入的復制者Replicator；

所述復制者Replicator不參與Raft日志復制或者選舉；所述復制者Replicator能夠在設定的時間節點從領導者leader處同步日志并回放。

3.根據權利要求1所述的基于分布式存儲的金融數據計算系統，其特征在于：

所述存儲模塊采用列存結構，所述列存結構是指金融數據中每個字段單獨存儲，每一列中的數據類型一致；

所述計算模塊基于SIMD指令集，利用列存結構的金融數據進行計算；

所述存儲模塊基于LSM算法實現讀寫操作。

4.根據權利要求1所述的基于分布式存儲的金融數據計算系統，其特征在于：

所述存儲模塊基于設定的生產周期進行分區；

所述計算模塊能夠針對只讀調取的金融數據建臨時表時指定TTL參數，從而在設定的時間點刪除臨時表和金融數據；

所述計算模塊能夠根據數據屬性，添加數據填充標簽；所述數據填充標簽為計算處理中數據缺失情況下的替代值；

所述計算模塊能夠根據設定的生產周期將數據分類；

所述計算模塊能夠根據表達式組合推斷結果數據對應的生產周期；

所述計算模塊基于結構化查詢語言SQL進行數據分析查詢；

所述計算模塊能夠基于用戶自定義函數進行數據處理和/或計算。

5.一種基于分布式存儲的金融數據計算方法，其特征在于，利用權利要求1至4中任一項所述的基于分布式存儲的金融數據計算系統，包括：

獲取金融數據，并基于分布式一致性協議存儲所述金融數據至第二存儲節點；

計算主體通過第一存儲節點只讀地調取存儲在第二存儲節點的金融數據，并根據設定的計算方法獨立進行計算。

6.根據權利要求5所述的基于分布式存儲的金融數據計算方法，其特征在于，所述分布式一致性協議包括Raft協議；所述第二存儲節點對應于Raft協議中的領導者leader；所述第一存儲節點為基于Raft協議引入的復制者Replicator；

所述復制者Replicator不參與Raft日志復制或者選舉；所述復制者Replicator能夠在設定的時間節點從領導者leader處同步日志并回放。

7.根據權利要求5所述的基于分布式存儲的金融數據計算方法，其特征在于：

所述獲取金融數據，并基于分布式一致性協議存儲所述金融數據至第二存儲節點的步驟具體包括：

獲取金融數據，基于分布式一致性協議，采用列存結構存儲所述金融數據至第二存儲節點，所述列存結構是指金融數據中每個字段單獨存儲，每一列中的數據類型一致；

相應的，計算主體通過第一存儲節點只讀地調取存儲在第二存儲節點的金融數據，并根據設定的計算方法獨立進行計算的步驟具體包括：

計算主體通過第一存儲節點，基于LSM算法只讀地調取存儲在第二存儲節點的金融數據；

計算主體基于SIMD指令集，利用列存結構的金融數據，根據設定的計算方法獨立進行計算。