[發明專利]一種基于機器學習的異構數據分類存儲方法及系統

在審

• 申請號: 201810438149.6
• 申請日: 2018-05-09
• 公開（公告）號: CN110472075A
• 公開（公告）日: 2019-11-19
• 發明（設計）人: 陳聞宇;楊學;馬永征;楊琪
• 申請（專利權）人: 中國互聯網絡信息中心
• 主分類號: G06F16/45
• 分類號: G06F16/45;G06F16/48;G06K9/62
• 代理公司: 11200 北京君尚知識產權代理有限公司
• 代理人: 司立彬<國際申請>=<國際公布>=<進入

1.一種基于機器學習的異構數據分類存儲方法，其特征在于：

根據數據類別對異構數據進行預處理分類；

對所述預處理分類后得到的每一類數據分別采用對應的分析模型進行關鍵字提取，得到每一數據的關鍵詞并將其作為該數據的標簽；

將所述標簽屬于關鍵詞分類表中同一類別的標簽對應的數據劃分為一類并進行存儲；

其中關鍵詞分類表中設有多個類別，每一類別對應若干關鍵詞。

2.如權利要求1所述的方法，其特征在于，數據預處理模塊根據數據類別對異構數據進行分類，得到音頻、圖片以及文字三種類別的數據；然后對每類數據按照數據時間進行排序。

3.如權利要求2所述的方法，其特征在于，所述分析模型包括用于從文字類別數據中提取關鍵詞的文字數據處理模型、用于從圖片類別數據中提取關鍵詞的圖像數據處理模型和用于從音頻類別數據中提取關鍵詞的語音數據處理模型。

4.如權利要求1所述的方法，其特征在于，提取關鍵字識別準確率低于預設值的數據作為新的訓練數據對所述分析模型進行訓練更新。

5.如權利要求1所述的方法，其特征在于，所述標簽中包含對應原始數據的存儲位置；所述標簽及其對應的原始數據分別存儲。

6.如權利要求1所述的方法，其特征在于，首先對收到的異構數據進行安全過濾，排除各種惡意代碼；以及篩除重復數據、無效數據；然后進行預處理分類。

7.一種基于機器學習的異構數據分類存儲系統，其特征在于，包括數據預處理模塊、標簽生成模塊、分類模塊；其中：

數據預處理模塊，用于根據數據類別對異構數據進行預處理分類；

標簽生成模塊，用于對預處理后的每一類數據分別采用對應的分析模型進行關鍵字提取，得到每一數據的關鍵詞并將其作為該數據的標簽；

分類模塊，用于將標簽屬于關鍵詞分類表中同一類別的標簽對應的數據劃分為一類并進行存儲；其中關鍵詞分類表中設有多個類別，每一類別對應若干關鍵詞。

8.如權利要求7所述的系統，其特征在于，還包括一數據存儲模塊，用于對標簽及其對應的原始數據分別存儲；其中，所述標簽中包含對應原始數據的存儲位置。

9.如權利要求7所述的系統，其特征在于，還包括一訓練數據生成模塊，用于利用關鍵字識別準確率低于預設值的數據作為新的訓練數據對所述分析模型進行訓練更新。

10.如權利要求7所述的系統，其特征在于，所述數據預處理模塊，用于對收到的異構數據進行安全過濾，排除各種惡意代碼；以及篩除重復數據、無效數據；然后根據文件類別對異構數據進行分類，然后對每類數據按照數據時間進行排序。