[發明專利]一種模型訓練方法、裝置、實現對標處理的方法及裝置在審
| 申請號: | 201911111324.1 | 申請日: | 2019-11-14 |
| 公開(公告)號: | CN110955781A | 公開(公告)日: | 2020-04-03 |
| 發明(設計)人: | 張靜;徐大磊;張曉波;馮亞東;劉振華 | 申請(專利權)人: | 北京明略軟件系統有限公司 |
| 主分類號: | G06F16/36 | 分類號: | G06F16/36;G06F40/151 |
| 代理公司: | 北京安信方達知識產權代理有限公司 11262 | 代理人: | 王康;栗若木 |
| 地址: | 100084 北京市海淀區*** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 一種 模型 訓練 方法 裝置 實現 處理 | ||
一種模型訓練方法、裝置、實現對標處理的方法及裝置,實現對標處理的方法包括:獲取預設數量的映射配置數據;對獲取的映射配置數據進行特征提取,獲得對標特征;根據映射配置數據對提取獲得的對標特征進行訓練,獲得用于自動對標的對標模型;根據獲得的對標模型對標準化數據進行自動對標處理;其中,所述對標特征包括以下一項或任意組合:源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。本發明實施例提取對標特征后,基于對標特征訓練獲得對標模型,實現了標準化數據的自動對標,提升了對標速度和準確度。
技術領域
本文涉及但不限于知識圖譜技術,尤指一種模型訓練方法、裝置、實現對標處理的方法及裝置。
背景技術
目前,多數知識圖譜的構建一般涉及非標準化和標準化的多源數據,構建知識圖譜包括對多源數據進行標準化處理、對標準化處理后的數據進行對標等過程;圖1為相關技術構建知識圖譜的流程圖,如圖1所示,包括:步驟101、對多源數據進行標準化處理,獲得標準化數據;步驟102、對標準化數據進行手動對標,獲得映射配置數據;其中,對標包括源表中文名和目標表中文名、源表英文名和目標表英文名、源表字段中文含義和目標表字段中文含義、以及源表字段英文名和目標表字段英文名的對標;步驟103、根據獲得的映射配置數據,通過計算機引擎確定實體、實體屬性、實體間關系及實體軌跡數據等,實現知識圖譜構建。
在數據源種類多、數據量大時,相關技術中對標過程存在以下問題:1、手動對標,效率低、耗時長;2、人為對標容易發生錯漏,影響準確率;此外,對標過程需要技術人員具備專業業務能力,因此,無法通過引入大量技術人員的方式來提升對比效率。
綜上,如何提升對標速度和準確度,成為構建知識圖譜過程中有待解決的問題。
發明內容
以下是對本文詳細描述的主題的概述。本概述并非是為了限制權利要求的保護范圍。
本發明實施例提供一種模型訓練方法、裝置、實現對標處理的方法及裝置,能夠提升對標速度和準確度。
本發明實施例還提供一種模型訓練方法,包括:
獲取預設數量的映射配置數據;
對獲取的映射配置數據進行特征提取,獲得對標特征;
根據映射配置數據對提取獲得的對標特征進行訓練,獲得用于自動對標的對標模型;
其中,所述對標特征包括以下一項或任意組合:源表中文名、目標表中文名、源表英文名、目標表英文名、源表字段中文含義、目標表字段中文含義、源表字段英文名、目標表字段英文名。
在一種示例性實施例中,所述對獲取的映射配置數據進行特征提取之后,所述模型訓練方法還包括:
對獲得的所述對標特征進行預處理;
所述預處理包括空值和/或異常值處理。
在一種示例性實施例中,所述根據映射配置數據對提取獲得的對標特征進行訓練,包括:
根據所述預設配置信息遍歷確定對標特征之間的對標關系;
根據確定的所述對標特征之間的對標關系,獲得用于自動對標的對標模型。
在一種示例性實施例中,所述根據所述預設配置信息遍歷確定對標特征之間的映射關系,包括:
所述對標特征包括所述源表中文名和所述目標表中文名時,對每一個源表中文名,分別進行以下處理:根據所述預設配置信息,遍歷確定與當前源表中文名對標的所有目標表中文名,建立當前源表中文名與所有對標的目標表的中文名之間的對標關系;
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于北京明略軟件系統有限公司,未經北京明略軟件系統有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/201911111324.1/2.html,轉載請聲明來源鉆瓜專利網。





