[發明專利]一種數據表分類、模型訓練方法、裝置、設備及介質

在審

• 申請號: 202110251153.3
• 申請日: 2021-03-08
• 公開（公告）號: CN113032494A
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 劉軍營
• 申請（專利權）人: 浙江大華技術股份有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/26
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 趙凱莉

1.一種數據表分類方法，其特征在于，所述方法包括：

獲取數據表中的每個字段信息；

根據所述每個字段信息，確定所述數據表的每個第一實體要素信息；

將所述每個第一實體要素信息輸入預先訓練完成的數據表分類模型，基于所述數據表分類模型確定所述數據表的類別信息。

2.如權利要求1所述的方法，其特征在于，所述獲取數據表中的每個字段信息；根據所述每個字段信息，確定所述數據表的每個第一實體要素信息包括：

獲取數據表的每個字段名和字段注釋；

將所述每個字段名和字段注釋，分別輸入預先訓練完成的第一實體要素信息確定模型，基于所述第一實體要素信息確定模型，確定所述數據表的每個第一實體要素信息。

3.如權利要求1所述的方法，其特征在于，所述根據所述每個字段信息，確定所述數據表的每個第一實體要素信息之后，將所述每個第一實體要素信息輸入預先訓練完成的數據表分類模型之前，所述方法還包括：

針對每個字段信息，獲取所述數據表中所述字段信息對應的每條數據；根據所述每條數據確定所述字段信息對應的第二實體要素信息；判斷所述字段信息對應的第一實體要素信息和所述第二實體要素信息是否相同，如果是，保留所述第一實體要素信息，如果否，刪除所述第一實體要素信息；

所述將所述每個第一實體要素信息輸入預先訓練完成的數據表分類模型包括：

將保留的每個第一實體要素信息輸入預先訓練完成的數據表分類模型。

4.如權利要求3所述的方法，其特征在于，所述根據所述每條數據確定所述字段信息對應的第二實體要素信息包括：

針對所述每條數據，將該條數據輸入預先訓練完成的第二實體要素信息確定模型，基于所述第二實體要素信息確定模型，確定該條數據對應的第三實體要素信息；

統計所述每條數據分別對應的第三實體要素信息，將相同的數量最多的第三實體要素信息作為所述字段信息對應的第二實體要素信息。

5.如權利要求4所述的方法，其特征在于，所述統計所述每條數據分別對應的第三實體要素信息之后，將相同的數量最多的第三實體要素信息作為所述字段信息對應的第二實體要素信息之前，所述方法還包括：

判斷所述相同的數量最多的第三實體要素信息的數量在每條數據分別對應的第三實體要素信息總數量中的占比是否大于預設的比例閾值，如果是，進行后續將相同的數量最多的第三實體要素信息作為所述字段信息對應的第二實體要素信息的步驟；

如果所述相同的數量最多的第三實體要素信息的數量在每條數據分別對應的第三實體要素信息總數量中的占比不大于預設的比例閾值，所述方法還包括：

刪除所述字段信息對應的第一實體要素信息。

6.一種數據表分類模型訓練方法，其特征在于，所述方法包括：

針對訓練集中的每個數據表，確定該數據表中的每個字段信息對應的實體要素信息；將該數據表中的每個實體要素信息和該數據表對應的類別標簽信息輸入到數據表分類模型，對所述數據表分類模型進行訓練。

7.一種數據表分類裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取數據表中的每個字段信息；

第一確定模塊，用于根據所述每個字段信息，確定所述數據表的每個第一實體要素信息；

第二確定模塊，用于將所述每個第一實體要素信息輸入預先訓練完成的數據表分類模型，基于所述數據表分類模型確定所述數據表的類別信息。

8.如權利要求7所述的裝置，其特征在于，所述獲取模塊，具體用于獲取數據表的每個字段名和字段注釋；

所述第一確定模塊，具體用于將所述每個字段名和字段注釋，分別輸入預先訓練完成的第一實體要素信息確定模型，基于所述第一實體要素信息確定模型，確定所述數據表的每個第一實體要素信息。