[發(fā)明專利]主數(shù)據(jù)映射處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911052600.1
• 申請(qǐng)日: 2019-10-31
• 公開（公告）號(hào): CN110795524B
• 公開（公告）日: 2022-07-05
• 發(fā)明（設(shè)計(jì)）人: 龍樂樂
• 申請(qǐng)（專利權(quán)）人: 望海康信（北京）科技股份公司
• 主分類號(hào): G06F16/30
• 分類號(hào): G06F16/30;G06F16/24
• 代理公司: 北京市立方律師事務(wù)所 11330
• 代理人: 張?bào)銓?/td>

本申請(qǐng)公開了一種主數(shù)據(jù)映射處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，包括，獲取待映射的目標(biāo)數(shù)據(jù)，其中，目標(biāo)數(shù)據(jù)包括第一屬性文件；計(jì)算第一屬性文件與預(yù)設(shè)的參考數(shù)據(jù)的第二屬性文件的第一相似度值，其中，第一屬性文件設(shè)置有多個(gè)，第二屬性文件也設(shè)置有多個(gè)，第一屬性文件與第二屬性文件一一映射，從而得到多個(gè)第一相似度值；根據(jù)多個(gè)第一相似度值生成表征目標(biāo)數(shù)據(jù)與參考數(shù)據(jù)重合度的總相似度值；根據(jù)總相似度值對(duì)目標(biāo)數(shù)據(jù)進(jìn)行映射處理。本申請(qǐng)通過對(duì)不同的屬性文件分別進(jìn)行相似度計(jì)算，再計(jì)算總的相似度，使獲得的總相似度值，使相似度計(jì)算更為客觀，消除人為干擾，且映射方式更方便、快捷。

技術(shù)領(lǐng)域

本申請(qǐng)涉及企業(yè)信息化的數(shù)據(jù)處理技術(shù)領(lǐng)域，具體而言，本申請(qǐng)涉及一種主數(shù)據(jù)映射處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

主數(shù)據(jù)是企業(yè)內(nèi)跨業(yè)務(wù)、能共享的高價(jià)值核心業(yè)務(wù)實(shí)體，是企業(yè)的關(guān)鍵數(shù)據(jù)，例如：人員、產(chǎn)品、供應(yīng)商、物料等。主數(shù)據(jù)管理幫助企業(yè)建立主數(shù)據(jù)單一視圖并進(jìn)行數(shù)據(jù)共享。

主數(shù)據(jù)管理整合企業(yè)各業(yè)務(wù)系統(tǒng)的主數(shù)據(jù)然后進(jìn)行數(shù)據(jù)治理。數(shù)據(jù)治理的一個(gè)重要技術(shù)手段是主數(shù)據(jù)映射，主數(shù)據(jù)映射的目的是把重復(fù)的、疑似重復(fù)的兩條或多條數(shù)據(jù)找出來，進(jìn)行篩選與修改，然后與標(biāo)準(zhǔn)主數(shù)據(jù)建立對(duì)照關(guān)系，這樣能提高主數(shù)據(jù)共享的數(shù)據(jù)質(zhì)量。

現(xiàn)有的主數(shù)據(jù)映射技術(shù)主要包括：一、利用數(shù)據(jù)庫能力，寫SQL使用where語句的“＝”、“LIKE”或特定函數(shù)來去重?cái)?shù)據(jù)，人工比較后寫SQL直接進(jìn)行映射關(guān)系的更新；二、利用EXCEL等工具進(jìn)行人工去重比對(duì)并與標(biāo)準(zhǔn)主數(shù)據(jù)建立映射關(guān)系，然后直接導(dǎo)入到系統(tǒng)。

以上兩種傳統(tǒng)方案的缺陷有：1)忽略了數(shù)據(jù)相似判斷是業(yè)務(wù)與技術(shù)相結(jié)合的過程，既要技術(shù)手段還需要業(yè)務(wù)手段，一般情況使用技術(shù)手段去重后，需要業(yè)務(wù)人員進(jìn)行稽核，確定是否要去重或修改；2)僅使用傳統(tǒng)的數(shù)據(jù)庫能力很難找到疑似重復(fù)、不同詞但同義的主數(shù)據(jù)記錄，例如供應(yīng)商地址：“遼寧省沈陽市”與“沈陽市”就是一個(gè)地址。3)兩條主數(shù)據(jù)記錄有時(shí)要進(jìn)行多字段屬性內(nèi)容的綜合比較，來確定二者的相似度，而非單個(gè)屬性。

發(fā)明內(nèi)容

基于以上問題，本申請(qǐng)公開一種主數(shù)據(jù)映射處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，采用計(jì)算機(jī)對(duì)多個(gè)數(shù)據(jù)多個(gè)屬性文件進(jìn)行客觀、準(zhǔn)確、快速地相似度識(shí)別和數(shù)據(jù)映射。

本申請(qǐng)的實(shí)施例根據(jù)第一個(gè)方面，提供了一種主數(shù)據(jù)映射處理方法，包括：

獲取待映射的目標(biāo)數(shù)據(jù)，其中，所述目標(biāo)數(shù)據(jù)包括第一屬性文件；

計(jì)算所述第一屬性文件與預(yù)設(shè)的參考數(shù)據(jù)的第二屬性文件的第一相似度值，其中，所述第一屬性文件設(shè)置有多個(gè)，所述第二屬性文件也設(shè)置有多個(gè)，所述第一屬性文件與所述第二屬性文件一一映射，從而得到多個(gè)所述第一相似度值；

根據(jù)多個(gè)所述第一相似度值生成表征所述目標(biāo)數(shù)據(jù)與所述參考數(shù)據(jù)重合度的總相似度值；

根據(jù)所述總相似度值對(duì)所述目標(biāo)數(shù)據(jù)進(jìn)行映射處理。

可選的，所述第一屬性文件包括第一標(biāo)識(shí)信息和第一文本信息，所述第一標(biāo)識(shí)信息與所述第一文本信息一一映射，所述第二屬性文件包括第二標(biāo)識(shí)信息和第二文本信息，所述第二標(biāo)識(shí)信息與所述第二文本信息一一映射，其中，所述第一標(biāo)識(shí)信息為表征所述目標(biāo)數(shù)據(jù)的類型參數(shù)，所述第二標(biāo)識(shí)信息為表征所述參考數(shù)據(jù)的類型參數(shù)；所述計(jì)算所述第一屬性文件與預(yù)設(shè)的參考數(shù)據(jù)的第二屬性文件的第一相似度值的方法包括：

提取類型參數(shù)相同的第一標(biāo)識(shí)信息和第二標(biāo)識(shí)信息所分別映射的第一文本信息和第二文本信息；

對(duì)所提取的所述第一文本信息和所述第二文本信息進(jìn)行比對(duì)，以得到所述第一相似度值。

可選的，所述對(duì)所提取的所述第一文本信息和所述第二文本信息進(jìn)行比對(duì)，以獲得到所述第一相似度值的方法包括：

調(diào)取規(guī)則數(shù)據(jù)庫，在所述規(guī)則數(shù)據(jù)庫中查找確定與所述第一標(biāo)識(shí)信息匹配的比較規(guī)則；