[發明專利]一種基于大數據的分類存儲方法及系統

在審

• 申請號: 201911413359.0
• 申請日: 2019-12-31
• 公開（公告）號: CN111177506A
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 廖海生
• 申請（專利權）人: 廣東科學技術職業學院
• 主分類號: G06F16/906
• 分類號: G06F16/906;G06F16/907
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 葉琦煒

1.一種基于大數據的分類存儲方法，其特征在于，包括以下步驟：

S10、基于分類算法對獲取的應用數據進行分類，判斷所述應用數據類型；

S20、對結構化數據直接存入數據庫群中；

S30、對半結構化數據進行模式抽取，映射為結構化數據后存入所述數據庫群中；

S40、對非結構化數據進行特征抽取、虛擬類以及創建對象轉化為結構化數據后存入所述數據庫群中。

2.根據權利要求1所述的基于大數據的分類存儲方法，其特征在于，所述S30還包括：

S31、對半結構化數據進行基于指定模型進行模式抽取，映射為結構化數據；

S32、根據所述結構化數據基于對象的關系數據庫進行存儲。

3.根據權利要求2所述的基于大數據的分類存儲方法，其特征在于，所述指定模型為OEM模型。

4.根據權利要求1所述的基于大數據的分類存儲方法，其特征在于，所述S10還包括：

S11、以大數據作為學習數據，建立分類規則庫；

S12、檢測所述應用數據的對應屬性，若檢測到所述分類規則庫存在該屬性對應的規則，則使用所述對應的規則進行分類，否則添加對應規則至所述應用數據并進行分類。

5.根據權利要求4所述的基于大數據的分類存儲方法，其特征在于，所述S12還包括：

對所述應用數據按照文件后綴名、內容結構以及數據特征的順序進行檢測。

6.根據權利要求4所述的基于大數據的分類存儲方法，其特征在于，所述S11還包括：

創建第一數組、第二數組和第三數組；

所述第一數組元素包括各類非結構化數據文件的后綴名；

所述第二數組元素包括數據主題或關鍵詞；

所述第三數組元素包括結構化數據特征。

7.根據權利要求6所述的基于大數據的分類存儲方法，其特征在于，所述S12還包括：

提取所述應用數據的后綴名，并與所述第一數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為非結構化數據，否則將所述元數據對應的后綴名添加到第一數組并執行下一步驟；

提取所述應用數據的主題或關鍵詞，并與所述第二數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為半結構化數據，否則將所述元數據對應的主題或關鍵詞添加到第二數組并執行下一步驟；

提取所述應用數據的數據特征，并與所述第三數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為結構化數據，否則返回執行第一步。

8.一種基于大數據的分類存儲系統，其特征在于，包括：

分類模塊，用于基于分類算法對獲取的應用數據進行分類，判斷所述應用數據類型；

數據庫，用于建立數據庫群存儲各類應用數據；

第一處理模塊，用于對半結構化數據進行模式抽取，映射為結構化數據后存入所述數據庫群中；

第二處理模塊，用于對非結構化數據進行特征抽取、虛擬類以及創建對象轉化為結構化數據后存入所述數據庫群中。

9.根據權利要求8所述的基于大數據的分類存儲系統，其特征在于，所述分類模塊還包括：

分類規則單元，用于檢測所述應用數據的對應屬性，若檢測到所述分類規則庫存在該屬性對應的規則，則使用所述對應的規則進行分類，否則添加對應規則至所述應用數據并進行分類。

10.根據權利要求8所述的基于大數據的分類存儲系統，其特征在于，所述分類模塊還包括：

第一匹配單元，用于提取所述應用數據的后綴名，并與所述第一數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為非結構化數據，否則將所述元數據對應的后綴名添加到第一數組并調用第二匹配單元；

第二匹配單元，用于提取所述應用數據的主題或關鍵詞，并與所述第二數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為半結構化數據，否則將所述元數據對應的主題或關鍵詞添加到第二數組并調用第三匹配單元；

第三匹配單元，用于提取所述應用數據的數據特征，并與所述第三數組進行匹配，若匹配到對應的元數據則判斷該所述應用數據為結構化數據，否則返回調用第一匹配單元。