[發(fā)明專利]一種模型訓(xùn)練方法、裝置、實(shí)現(xiàn)對(duì)標(biāo)處理的方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201911111324.1
• 申請(qǐng)日: 2019-11-14
• 公開(kāi)（公告）號(hào): CN110955781A
• 公開(kāi)（公告）日: 2020-04-03
• 發(fā)明（設(shè)計(jì)）人: 張靜;徐大磊;張曉波;馮亞?wèn)|;劉振華
• 申請(qǐng)（專利權(quán)）人: 北京明略軟件系統(tǒng)有限公司
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F40/151
• 代理公司: 北京安信方達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11262
• 代理人: 王康;栗若木

一種模型訓(xùn)練方法、裝置、實(shí)現(xiàn)對(duì)標(biāo)處理的方法及裝置，實(shí)現(xiàn)對(duì)標(biāo)處理的方法包括：獲取預(yù)設(shè)數(shù)量的映射配置數(shù)據(jù)；對(duì)獲取的映射配置數(shù)據(jù)進(jìn)行特征提取，獲得對(duì)標(biāo)特征；根據(jù)映射配置數(shù)據(jù)對(duì)提取獲得的對(duì)標(biāo)特征進(jìn)行訓(xùn)練，獲得用于自動(dòng)對(duì)標(biāo)的對(duì)標(biāo)模型；根據(jù)獲得的對(duì)標(biāo)模型對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行自動(dòng)對(duì)標(biāo)處理；其中，所述對(duì)標(biāo)特征包括以下一項(xiàng)或任意組合：源表中文名、目標(biāo)表中文名、源表英文名、目標(biāo)表英文名、源表字段中文含義、目標(biāo)表字段中文含義、源表字段英文名、目標(biāo)表字段英文名。本發(fā)明實(shí)施例提取對(duì)標(biāo)特征后，基于對(duì)標(biāo)特征訓(xùn)練獲得對(duì)標(biāo)模型，實(shí)現(xiàn)了標(biāo)準(zhǔn)化數(shù)據(jù)的自動(dòng)對(duì)標(biāo)，提升了對(duì)標(biāo)速度和準(zhǔn)確度。

技術(shù)領(lǐng)域

本文涉及但不限于知識(shí)圖譜技術(shù)，尤指一種模型訓(xùn)練方法、裝置、實(shí)現(xiàn)對(duì)標(biāo)處理的方法及裝置。

背景技術(shù)

目前，多數(shù)知識(shí)圖譜的構(gòu)建一般涉及非標(biāo)準(zhǔn)化和標(biāo)準(zhǔn)化的多源數(shù)據(jù)，構(gòu)建知識(shí)圖譜包括對(duì)多源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理、對(duì)標(biāo)準(zhǔn)化處理后的數(shù)據(jù)進(jìn)行對(duì)標(biāo)等過(guò)程；圖1為相關(guān)技術(shù)構(gòu)建知識(shí)圖譜的流程圖，如圖1所示，包括：步驟101、對(duì)多源數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，獲得標(biāo)準(zhǔn)化數(shù)據(jù)；步驟102、對(duì)標(biāo)準(zhǔn)化數(shù)據(jù)進(jìn)行手動(dòng)對(duì)標(biāo)，獲得映射配置數(shù)據(jù)；其中，對(duì)標(biāo)包括源表中文名和目標(biāo)表中文名、源表英文名和目標(biāo)表英文名、源表字段中文含義和目標(biāo)表字段中文含義、以及源表字段英文名和目標(biāo)表字段英文名的對(duì)標(biāo)；步驟103、根據(jù)獲得的映射配置數(shù)據(jù)，通過(guò)計(jì)算機(jī)引擎確定實(shí)體、實(shí)體屬性、實(shí)體間關(guān)系及實(shí)體軌跡數(shù)據(jù)等，實(shí)現(xiàn)知識(shí)圖譜構(gòu)建。

在數(shù)據(jù)源種類多、數(shù)據(jù)量大時(shí)，相關(guān)技術(shù)中對(duì)標(biāo)過(guò)程存在以下問(wèn)題：1、手動(dòng)對(duì)標(biāo)，效率低、耗時(shí)長(zhǎng)；2、人為對(duì)標(biāo)容易發(fā)生錯(cuò)漏，影響準(zhǔn)確率；此外，對(duì)標(biāo)過(guò)程需要技術(shù)人員具備專業(yè)業(yè)務(wù)能力，因此，無(wú)法通過(guò)引入大量技術(shù)人員的方式來(lái)提升對(duì)比效率。

綜上，如何提升對(duì)標(biāo)速度和準(zhǔn)確度，成為構(gòu)建知識(shí)圖譜過(guò)程中有待解決的問(wèn)題。

發(fā)明內(nèi)容

以下是對(duì)本文詳細(xì)描述的主題的概述。本概述并非是為了限制權(quán)利要求的保護(hù)范圍。

本發(fā)明實(shí)施例提供一種模型訓(xùn)練方法、裝置、實(shí)現(xiàn)對(duì)標(biāo)處理的方法及裝置，能夠提升對(duì)標(biāo)速度和準(zhǔn)確度。

本發(fā)明實(shí)施例還提供一種模型訓(xùn)練方法，包括：

獲取預(yù)設(shè)數(shù)量的映射配置數(shù)據(jù)；

對(duì)獲取的映射配置數(shù)據(jù)進(jìn)行特征提取，獲得對(duì)標(biāo)特征；

根據(jù)映射配置數(shù)據(jù)對(duì)提取獲得的對(duì)標(biāo)特征進(jìn)行訓(xùn)練，獲得用于自動(dòng)對(duì)標(biāo)的對(duì)標(biāo)模型；

其中，所述對(duì)標(biāo)特征包括以下一項(xiàng)或任意組合：源表中文名、目標(biāo)表中文名、源表英文名、目標(biāo)表英文名、源表字段中文含義、目標(biāo)表字段中文含義、源表字段英文名、目標(biāo)表字段英文名。

在一種示例性實(shí)施例中，所述對(duì)獲取的映射配置數(shù)據(jù)進(jìn)行特征提取之后，所述模型訓(xùn)練方法還包括：

對(duì)獲得的所述對(duì)標(biāo)特征進(jìn)行預(yù)處理；

所述預(yù)處理包括空值和/或異常值處理。

在一種示例性實(shí)施例中，所述根據(jù)映射配置數(shù)據(jù)對(duì)提取獲得的對(duì)標(biāo)特征進(jìn)行訓(xùn)練，包括：

根據(jù)所述預(yù)設(shè)配置信息遍歷確定對(duì)標(biāo)特征之間的對(duì)標(biāo)關(guān)系；

根據(jù)確定的所述對(duì)標(biāo)特征之間的對(duì)標(biāo)關(guān)系，獲得用于自動(dòng)對(duì)標(biāo)的對(duì)標(biāo)模型。

在一種示例性實(shí)施例中，所述根據(jù)所述預(yù)設(shè)配置信息遍歷確定對(duì)標(biāo)特征之間的映射關(guān)系，包括：

所述對(duì)標(biāo)特征包括所述源表中文名和所述目標(biāo)表中文名時(shí)，對(duì)每一個(gè)源表中文名，分別進(jìn)行以下處理：根據(jù)所述預(yù)設(shè)配置信息，遍歷確定與當(dāng)前源表中文名對(duì)標(biāo)的所有目標(biāo)表中文名，建立當(dāng)前源表中文名與所有對(duì)標(biāo)的目標(biāo)表的中文名之間的對(duì)標(biāo)關(guān)系；