[發明專利]數據分類存儲方法、裝置及相關產品

在審

• 申請號: 202011446652.X
• 申請日: 2020-12-08
• 公開（公告）號: CN112559642A
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 劉鵬;王建健;楊凱華;王巍;李憲英;向世勇;易凱
• 申請（專利權）人: 愛信諾征信有限公司;航天信息系統工程（北京）有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/22;G06F16/27;G06F16/2455
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰

本申請實施例提供一種數據分類存儲方法、裝置及相關產品，數據分類存儲方法包括：根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別；根據所述目標數據的類別，確定所述目標數據的存儲方式；根據確定出的存儲方式，對所述目標數據進行存儲處理。本申請實施例提供了可以對海量數據進行分類存儲的方案。

技術領域

本申請涉及互聯網技術領域，尤其是涉及一種數據分類存儲方法、裝置及相關產品及存儲介質。

背景技術

隨著互聯網各類網絡應用的不斷深入，互聯網數據量增長迅速，并且需要處理的互聯網的數據結構以及數據類型也越來越多樣。海量并且多樣的互聯網數據的存儲亟待成為解決的技術問題。

發明內容

有鑒于此，本申請實施例提供一種數據分類存儲方法、裝置及相關產品，用以克服上述缺陷。

1.一種數據分類存儲方法，其特征在于，包括：

根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別；

根據所述目標數據的類別，確定所述目標數據的存儲方式；

根據確定出的存儲方式，對所述目標數據進行存儲處理。

2.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別，包括：根據設置的決策樹數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別，并生成所述目標數據對應的決策樹；將所述目標數據的類別存儲到所述決策樹的結果節點上。

3.根據權利要求1所述的數據分類存儲方法，其特征在于，所述數據分類機制包括重要程度以及大??；所述根據設置的數據分類機制對數據流中的目標數據進行分類以確定所述目標數據的類別包括：根據目標數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類；根據數據的大小以及設定的數據量閾值，對任一權重分類對應的目標數據進行分類確定出數據大小分類。

4.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據目標數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類，包括：獲取給所述目標數據配置的權重；根據所述權重確定所述目標數據的重要程度；根據數據的重要程度對所述數據流中的目標數據進行分類確定出數據重要性分類。

5.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于須備份的數據，則所述目標數據的存儲方式為分布式存儲；否則，則所述目標數據的存儲方式為磁盤存儲。

6.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于占用空間超過設定空間閾值的數據，則所述目標數據的存儲方式為非關系型存儲方式；否則，所述目標數據的存儲方式為關系型存儲方式。

7.根據權利要求1所述的數據分類存儲方法，其特征在于，所述根據所述目標數據的類別，確定所述目標數據的存儲方式，包括：若所述目標數據的類別表征出所述目標數據屬于占用空間超過設定空間閾值的數據，則所述目標數據的存儲方式為HDFS存儲方式；否則，則所述目標數據的存儲方式為Hbase存儲方式，所述HDFS存儲方式使得所述目標數據存儲在Hadoop文件分發庫中，Hbase存儲方式使得所述目標數據存儲在Hadoop數據庫。

8.根據權利要求1-7任一項所述的數據分類存儲方法，其特征在于，所述根據確定出的存儲方式，對所述目標數據進行存儲處理包括：為同一類型的所述目標數據分配相同的存儲位置，而不同類型的所述目標數據分配不同的存儲位置。