[發明專利]一種模型訓練方法、裝置、實現對標處理的方法及裝置

在審

• 申請號: 201911111324.1
• 申請日: 2019-11-14
• 公開（公告）號: CN110955781A
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 張靜;徐大磊;張曉波;馮亞東;劉振華
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/151
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王康;栗若木

1.一種模型訓練方法，包括：

獲取預設數量的映射配置數據；

對獲取的映射配置數據進行特征提取，獲得對標特征；

根據映射配置數據對提取獲得的對標特征進行訓練，獲得用于自動對標的對標模型；

其中，所述對標特征包括以下一項或任意組合：源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。

2.根據權利要求1所述的模型訓練方法，其特征在于，所述對獲取的映射配置數據進行特征提取之后，所述模型訓練方法還包括：

對獲得的所述對標特征進行預處理；

所述預處理包括空值和/或異常值處理。

3.根據權利要求1或2所述的模型訓練方法，其特征在于，所述根據映射配置數據對提取獲得的對標特征進行訓練，包括：

根據所述預設配置信息遍歷確定對標特征之間的對標關系；

根據確定的所述對標特征之間的對標關系，獲得用于自動對標的對標模型。

4.根據權利要求3所述的模型訓練方法，其特征在于，所述根據所述預設配置信息遍歷確定對標特征之間的映射關系，包括：

所述對標特征包括所述源表中文名和所述目標表中文名時，對每一個源表中文名，分別進行以下處理：根據所述預設配置信息，遍歷確定與當前源表中文名對標的所有目標表中文名，建立當前源表中文名與所有對標的目標表的中文名之間的對標關系；

所述對標特征包括所述源表英文名和所述目標表英文名時，對每一個所述源表英文名，分別進行以下處理：根據所述預設配置信息，遍歷確定與當前源表英文名對標的所有目標表英文名，建立當前源表英文名與所有對標的目標表的英文名之間的對標關系；

所述對標特征包括所述源表字段中文含義和所述目標表字段中文含義時，對每一個所述源表字段中文含義，分別進行以下處理：根據所述預設配置信息，遍歷確定與當前源表字段中文含義對標的所有目標表字段中文含義，建立當前源表字段中文與所有對標的目標表字段中文含義之間的對標關系；

所述對標特征包括所述源表字段英文名和所述目標表字段英文名時，對每一個所述源表字段英文名，分別進行以下處理：根據所述預設配置信息，遍歷確定與當前源表字段英文名對標的所有目標表字段英文名，建立當前源表字段英文名與所有對標的目標表字段英文名之間的對標關系。

5.根據權利要求3所述的模型訓練方法，其特征在于，所述根據映射配置數據對提取獲得的對標特征進行訓練，包括：

由極端梯度提升XGBoost算法，根據所述映射配置數據遍歷確定對標特征之間的對標關系；

根據確定的所述對標特征之間的對標關系，構建用于自動對標的對標模型。

6.一種實現對標處理的方法，包括：

獲取預設數量的映射配置數據；

對獲取的映射配置數據進行特征提取，獲得對標特征；

根據映射配置數據對提取獲得的對標特征進行訓練，獲得用于自動對標的對標模型；

根據獲得的對標模型對標準化數據進行自動對標處理；

其中，所述對標特征包括以下一項或任意組合：源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。

7.根據權利要求6所述的裝置，其特征在于，所述對未對標的源數據進行自動對標處理后，所述方法還包括：

根據接收到的外部指令，判斷自動對標處理獲得的映射配置數據是否準確；

判斷出所述映射配置數據準確時，存儲準確的映射配置數據；

判斷出所述映射配置數據錯誤時，根據接收的編輯指令對錯誤的所述映射配置數據進行校正，并存儲校正后的所述映射配置數據。

8.根據權利要求7所述的方法，其特征在于，所述判斷自動對標處理獲得的映射配置數據是否準確后，所述方法還包括：

按照預設策略將判斷出的準確的所述映射配置數據作為正樣本，錯誤的所述映射配置數據作為負樣本；

根據獲得的所述正樣本和所述負樣本，對所述對標模型進行更新訓練。