[發明專利]數據分類存儲方法、裝置及相關產品

在審

• 申請號: 202011446652.X
• 申請日: 2020-12-08
• 公開（公告）號: CN112559642A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 劉鵬;王建健;楊凱華;王巍;李憲英;向世勇;易凱
• 申請（專利權）人: 愛信諾征信有限公司;航天信息系統工程（北京）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/27;G06F16/2455
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

1.一種數據分類存儲方法，其特征在于，包括：

根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別；

根據所述目標數據的類別，確定所述目標數據的存儲方式；

根據確定出的存儲方式，對所述目標數據進行存儲處理。

2.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別，包括：根據設置的決策樹數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別，并生成所述目標數據對應的決策樹；將所述目標數據的類別存儲到所述決策樹的結果節點上。

3.根據權利要求1所述的數據分類存儲方法，其特征在于，所述數據分類機制包括重要程度以及大小；所述根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別包括：根據目標數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類；根據數據的大小以及設定的數據量閾值，對任一權重分類對應的目標數據進行分類確定出數據大小分類。

4.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據目標數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類，包括：獲取給所述目標數據配置的權重；根據所述權重確定所述目標數據的重要程度；根據數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類。

5.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于須備份的數據，則所述目標數據的存儲方式為分布式存儲；否則，則所述目標數據的存儲方式為磁盤存儲。

6.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于占用空間超過設定空間閾值的數據，則所述目標數據的存儲方式為非關系型存儲方式；否則，所述目標數據的存儲方式為關系型存儲方式。

7.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于占用空間超過設定空間閾值的數據，則所述目標數據的存儲方式為HDFS存儲方式；否則，則所述目標數據的存儲方式為Hbase存儲方式，所述HDFS存儲方式使得所述目標數據存儲在Hadoop文件分發庫中，Hbase存儲方式使得所述目標數據存儲在Hadoop數據庫。

8.根據權利要求1-7任一項所述的數據分類存儲方法，其特征在于，所述根據確定出的存儲方式，對所述目標數據進行存儲處理包括：為同一類型的所述目標數據分配相同的存儲位置，而不同類型的所述目標數據分配不同的存儲位置。

9.根據權利要求8所述的數據分類存儲方法，其特征在于，所述數據分類存儲方法還包括：通過元數據中間件對所述數據分類機制以及所述存儲方式進行存儲管理。

10.一種數據分類存儲裝置，其特征在于，包括：

數據分類單元，用于根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別；

存儲方式確定單元，用于根據所述目標數據的類別，確定所述目標數據的存儲方式；

存儲處理單元，用于根據確定出的存儲方式，對所述目標數據進行存儲處理。