[發明專利]一種數據分類方法、裝置及電子設備

有效

• 申請號: 201810415784.2
• 申請日: 2018-05-03
• 公開（公告）號: CN108763952B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 許志凱;侯輝超;蔡佳良;王心剛
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06F21/62
• 分類號: G06F21/62;G06F16/28
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許志勇

1.一種數據分類方法，所述方法包括：

獲取待分類字段的字段特征，所述字段特征包括以下一項或多項的組合：字段的語義特征、字段的內容特征和字段的統計特征，所述語義特征用于表征字段的語義，所述內容特征用于表征所述字段對應的鍵值，所述統計特征用于表征與所述字段存在關聯關系的字段的標簽類別分布情況；

根據預設的字段特征與標簽類別的映射關系、以及所述待分類字段的字段特征，確定所述待分類字段的標簽類別；

其中，當所述字段特征包括字段的統計特征時，所述獲取待分類字段的字段特征，包括：

獲取字段訪問記錄、以及所述待分類字段所處數據庫的數據分布情況；

根據所述字段訪問記錄，確定目標用戶訪問過的字段的標簽類別分布情況，所述目標用戶為訪問過所述待分類字段的用戶；

根據所述數據分布情況，確定目標數據表中字段的標簽類別分布情況、以及鄰近數據表中字段的標簽類別分布情況；所述目標數據表為所述待分類字段所處的數據表，所述鄰近數據表為與所述目標數據表相鄰的數據表；

將所述目標用戶訪問過的字段的標簽類別分布情況、所述目標數據表中字段的標簽類別分布情況、以及所述鄰近數據表中字段的標簽類別分布情況中的至少一項，作為統計特征。

2.根據權利要求1所述的方法，所述根據預設的字段特征與標簽類別的映射關系、以及所述待分類字段的字段特征，確定所述待分類字段的標簽類別之后，所述方法還包括：

根據預設的標簽類別與字段敏感級別的映射關系、以及所述待分類字段的標簽類別，確定所述待分類字段的敏感級別。

3.根據權利要求1所述的方法，所述根據預設的字段特征與標簽類別的映射關系、以及所述待分類字段的字段特征，確定所述待分類字段的標簽類別之前，所述方法還包括：

獲取訓練樣本集，所述訓練樣本集中包括用于訓練模型的訓練樣本，所述訓練樣本為標簽類別已知的字段；

獲取所述訓練樣本集中訓練樣本的字段特征；

根據特定決策樹算法，對所述訓練樣本的字段特征和標簽類別進行訓練，得到預測模型，所述預測模型用于表征字段特征與標簽類別的映射關系。

4.根據權利要求3所述的方法，所述根據預設的字段特征與標簽類別的映射關系、以及所述待分類字段的字段特征，確定所述待分類字段的標簽類別，包括：

將所述待分類字段的字段特征輸入到所述預測模型，得到所述待分類字段相對于各標簽類別的得分；

將得分大于預設分數閾值的標簽類別，確定為所述待分類字段的標簽類別。

5.根據權利要求1所述的方法，所述字段特征包括：字段的內容特征；

所述獲取待分類字段的字段特征，包括：

獲取所述待分類字段對應的內容；

利用正則表達式，識別所述待分類字段對應的內容中證件號類型的內容；

確定所述待分類字段對應的內容的字段類型；

計算所述待分類字段對應的內容的分布特征；

將所識別出的內容、所述字段類型、以及所述分布特征中的至少一項，作為內容特征。

6.根據權利要求1所述的方法，所述字段特征包括：字段的語義特征；

所述獲取待分類字段的字段特征，包括：

對所述待分類字段進行分詞處理，得到所述待分類字段的第一詞匯集；

對所述第一詞匯集進行詞頻統計、去停用詞、去重復詞處理，得到第二詞匯集；

根據word2vect模型和所述第二詞匯集，確定所述待分類字段的語義特征。

7.根據權利要求3或4所述的方法，所述特定決策樹算法，包括：隨機森林算法、或梯度提升決策樹算法。