[發明專利]一種大數據存儲用數據分類方法

在審

• 申請號: 202010880145.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112052241A
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 王海燕;曾東;湯智
• 申請（專利權）人: 安徽聚戎科技信息咨詢有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28
• 代理公司: 北京中譽威圣知識產權代理有限公司 11279
• 代理人: 高清峰

一種大數據存儲用數據分類方法，包括如下步驟：建立匯總模型，用于描述給定的數據集合；對數據進行基礎分類，得到已知類數據對象；建立評估模型，用于對數據分類進行評估；建立監控模塊，對數據分類結果進行監控，并最終得到數據分類結果；其技術要點為，利用評估模型，對數據評估后進行后續的二次分類，可對部分未知類的數據進行單獨篩分，方便后續工作人員查找的同時，也能將其收錄到大數據中，從而完善整個大數據存儲體系；同時采用數據監控的形式，能夠抓取未被分類的數據，保證分類工作的順利進行，從而提高整個分類作業的工作效率和準確率。

技術領域

本發明屬于大數據領域，具體是一種大數據存儲用數據分類方法。

背景技術

大數據是指無法在一定時間內用常規軟件工具對其內容進行抓取、管理和處理的數據集合。大數據有五大特點，即大量、高速、多樣、低價值密度、真實性。它并沒有統計學的抽樣方法，只是觀察和追蹤發生的事情。

在對大數據內的數據進行存儲分類時，常常會出現數據遺漏或是分類不細致的現象，從而造成整個分類工作準確率低，對一些較為不常見的偏僻數據無法快速找尋，而造成工作效率較低的問題。

發明內容

本發明的目的在于克服現有技術的缺陷，提供一種大數據存儲用數據分類方法。

為實現上述目的，本發明采用了如下技術方案：

一種大數據存儲用數據分類方法，包括如下步驟：

建立匯總模型，用于描述給定的數據集合；

對數據進行基礎分類，得到已知類數據對象；

建立評估模型，用于對數據分類進行評估；

建立監控模塊，對數據分類結果進行監控，并最終得到數據分類結果。

優選的，在所述建立匯總模型的過程中，通過分析由屬性描述的數據集合來建立反映數據集合特性的模型。

優選的，在對數據進行基礎分類的過程中，得到的單個已知類數據對象屬于同屬性下的數據集合。

優選的，在所述建立評估模型與建立監控模塊之間的步驟中，具體為：

開始評估數據分類，判斷數據分類是否精準；

若否，則僅能完成對已知類數據對象進行分類；

若是，則對已知類數據對象和未知類數據對象進行分類。

優選的，在判斷數據分類是否精準的步驟中，評估數據精確的標準為：

該數據屬性是否為大數據內所記錄的數據屬性，即為該數據屬性是否能夠存在于大數據中。

優選的，在所述建立監控模塊中，對數據分類結果進行監控時，需要判斷是否出現數據遺漏，

若是，則抓取該遺漏的數據，并添加到建立匯總模型與對數據進行基礎分類之間的步驟中；

若否，則直接輸出分類結果。

優選的，在抓取該遺漏的數據的過程中，同時需要對該數據屬性進行分析，并與大數據內的數據進行對比，若該數據存在于大數據中，則進行后續步驟，若不存在與大數據中，則將數據添加到大數據中后，進行后續步驟。

與現有技術相比，本發明提供了一種大數據存儲用數據分類方法，具有如下有益效果：

本發明利用評估模型，對數據評估后進行后續的二次分類，可對部分未知類的數據進行單獨篩分，方便后續工作人員查找的同時，也能將其收錄到大數據中，從而完善整個大數據存儲體系；

同時采用數據監控的形式，能夠抓取未被分類的數據，保證分類工作的順利進行，從而提高整個分類作業的工作效率和準確率。