[發明專利]一種數據管理方法、系統、設備及介質

在審

• 申請號: 202010916686.4
• 申請日: 2020-09-03
• 公開（公告）號: CN112084224A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 丁寶存;謝永恒;萬月亮
• 申請（專利權）人: 北京銳安科技有限公司
• 主分類號: G06F16/2457
• 分類號: G06F16/2457;G06F16/2458;G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

1.一種數據管理方法，其特征在于，由集成在實時流計算框架Flink上的數據管理系統執行，包括：

解析從分布式消息系統中所拉取的流數據，獲得各所述流數據的數據屬性信息，其中，各所述流數據具備不同數據來源；

采用各所述流數據屬性信息匹配的存儲策略，將相應的流數據通過預設的時間窗口存儲至第一指定數據庫中。

2.根據權利要求1所述的方法，其特征在于，還包括：

確定所述時間窗口在所對應設定時間戳下的流數據量值，并將所述流數據量值及流經時間段關聯存儲至第二指定數據庫中。

3.根據權利要求2所述的方法，其特征在于，還包括：

實時監測所述設定時間戳下的流數據量值，并當所述流數據量值大于預設流量閾值時，以設定警告形式進行流量負載預警。

4.根據權利要求1所述的方法，其特征在于，解析從分布式消息系統中所拉取的流數據，獲得各所述流數據的數據屬性信息，包括：

從預設的元數據規則集中確定匹配各所述流數據的目標元數據規則，并采用各所述目標元數據規則處理相應的流數據，獲得各所述流數據屬性信息。

5.根據權利要求4所述的方法，其特征在于，還包括：

根據各所述流數據的數據屬性信息以及相應的目標元數據規則，對存儲至所述第一指定數據庫的各流數據在指定索引庫中建立全文索引。

6.根據權利要求5所述的方法，其特征在于，還包括：

在接收到所述指定索引庫發送的數據索引請求時，從第一指定數據庫中查找匹配所述數據索引請求的目標數據并反饋至所述指定索引庫。

7.根據權利要求1-6任一項所述的方法，其特征在于，所述數據屬性信息至少包括：流數據的數據類別以及流數據的唯一行鍵信息；

相應的，所述采用各所述數據屬性信息匹配的存儲策略，將相應的流數據通過預設的時間窗口存儲至第一指定數據庫中，包括：

將各所述流數據按照數據類別進行分組；

采用對應各所述數據類別的存儲策略，將處于各分組的流數據通過預設的時間窗口以設定格式存儲至第一指定數據庫中。

8.一種數據管理系統，其特征在于，集成在實時流計算框架Flink上，包括：

數據解析模塊，用于解析從分布式消息系統中所拉取的流數據，獲得各所述流數據的數據屬性信息；

數據存儲模塊，用于采用各所述流數據屬性信息匹配的存儲策略，將相應的流數據通過預設的時間窗口存儲至第一指定數據庫中

其中，各所述流數據具備不同數據來源。

9.一種計算機設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的數據存儲方法。

10.一種計算機存儲介質，時實現如權利要求1-7中任一所述的數據存儲方法。