[發明專利]一種模型訓練方法、裝置、實現對標處理的方法及裝置

在審

• 申請號: 201911111324.1
• 申請日: 2019-11-14
• 公開（公告）號: CN110955781A
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 張靜;徐大磊;張曉波;馮亞東;劉振華
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F40/151
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 王康;栗若木

一種模型訓練方法、裝置、實現對標處理的方法及裝置，實現對標處理的方法包括：獲取預設數量的映射配置數據；對獲取的映射配置數據進行特征提取，獲得對標特征；根據映射配置數據對提取獲得的對標特征進行訓練，獲得用于自動對標的對標模型；根據獲得的對標模型對標準化數據進行自動對標處理；其中，所述對標特征包括以下一項或任意組合：源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。本發明實施例提取對標特征后，基于對標特征訓練獲得對標模型，實現了標準化數據的自動對標，提升了對標速度和準確度。

技術領域

本文涉及但不限于知識圖譜技術，尤指一種模型訓練方法、裝置、實現對標處理的方法及裝置。

背景技術

目前，多數知識圖譜的構建一般涉及非標準化和標準化的多源數據，構建知識圖譜包括對多源數據進行標準化處理、對標準化處理后的數據進行對標等過程；圖1為相關技術構建知識圖譜的流程圖，如圖1所示，包括：步驟101、對多源數據進行標準化處理，獲得標準化數據；步驟102、對標準化數據進行手動對標，獲得映射配置數據；其中，對標包括源表中文名和目標表中文名、源表英文名和目標表英文名、源表字段中文含義和目標表字段中文含義、以及源表字段英文名和目標表字段英文名的對標；步驟103、根據獲得的映射配置數據，通過計算機引擎確定實體、實體屬性、實體間關系及實體軌跡數據等，實現知識圖譜構建。

在數據源種類多、數據量大時，相關技術中對標過程存在以下問題：1、手動對標，效率低、耗時長；2、人為對標容易發生錯漏，影響準確率；此外，對標過程需要技術人員具備專業業務能力，因此，無法通過引入大量技術人員的方式來提升對比效率。

綜上，如何提升對標速度和準確度，成為構建知識圖譜過程中有待解決的問題。

發明內容

以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。

本發明實施例提供一種模型訓練方法、裝置、實現對標處理的方法及裝置，能夠提升對標速度和準確度。

本發明實施例還提供一種模型訓練方法，包括：

獲取預設數量的映射配置數據；

對獲取的映射配置數據進行特征提取，獲得對標特征；

根據映射配置數據對提取獲得的對標特征進行訓練，獲得用于自動對標的對標模型；

其中，所述對標特征包括以下一項或任意組合：源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。

在一種示例性實施例中，所述對獲取的映射配置數據進行特征提取之后，所述模型訓練方法還包括：

對獲得的所述對標特征進行預處理；

所述預處理包括空值和/或異常值處理。

在一種示例性實施例中，所述根據映射配置數據對提取獲得的對標特征進行訓練，包括：

根據所述預設配置信息遍歷確定對標特征之間的對標關系；

根據確定的所述對標特征之間的對標關系，獲得用于自動對標的對標模型。

在一種示例性實施例中，所述根據所述預設配置信息遍歷確定對標特征之間的映射關系，包括：

所述對標特征包括所述源表中文名和所述目標表中文名時，對每一個源表中文名，分別進行以下處理：根據所述預設配置信息，遍歷確定與當前源表中文名對標的所有目標表中文名，建立當前源表中文名與所有對標的目標表的中文名之間的對標關系；