[發(fā)明專利]數(shù)據(jù)導(dǎo)入處理方法及數(shù)據(jù)處理裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201310221739.0
• 申請(qǐng)日: 2013-06-05
• 公開(kāi)（公告）號(hào): CN103279542B
• 公開(kāi)（公告）日: 2018-05-22
• 發(fā)明（設(shè)計(jì)）人: 孫秋峰;傅永財(cái);李淑惠;寧江;鄭揚(yáng)飛;徐超;郭紅鈺;何巖;王非;劉玉龍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第十五研究所
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 北京市京大律師事務(wù)所 11321
• 代理人: 黃啟行;方曉明

1.一種數(shù)據(jù)導(dǎo)入處理方法，包括：

獲取待導(dǎo)入的源數(shù)據(jù)、源數(shù)據(jù)模型與目標(biāo)數(shù)據(jù)模型；

建立源數(shù)據(jù)模型與目標(biāo)數(shù)據(jù)模型的映射關(guān)系，將獲取的源數(shù)據(jù)按照建立的映射關(guān)系進(jìn)行轉(zhuǎn)換；

獲取預(yù)先設(shè)置的目標(biāo)數(shù)據(jù)模型業(yè)務(wù)規(guī)則，對(duì)轉(zhuǎn)換后的源數(shù)據(jù)進(jìn)行過(guò)濾處理；

其中，所述目標(biāo)數(shù)據(jù)模型業(yè)務(wù)規(guī)則設(shè)置有多條，所述對(duì)轉(zhuǎn)換后的源數(shù)據(jù)進(jìn)行過(guò)濾處理包括：

如果源數(shù)據(jù)不滿足多條業(yè)務(wù)規(guī)則中的任意一條，則將該源數(shù)據(jù)執(zhí)行過(guò)濾處理；

計(jì)算過(guò)濾處理后源數(shù)據(jù)與目標(biāo)數(shù)據(jù)之間的全局相似度，刪除全局相似度值大于預(yù)先設(shè)置的相似度閾值的源數(shù)據(jù)，并將經(jīng)相似度處理符合相似度條件的源數(shù)據(jù)導(dǎo)入至目標(biāo)數(shù)據(jù)庫(kù)的數(shù)據(jù)表中；

所述建立源數(shù)據(jù)模型與目標(biāo)數(shù)據(jù)模型的映射關(guān)系包括：

獲取源數(shù)據(jù)模型中屬性項(xiàng)的源關(guān)鍵詞；

獲取目標(biāo)數(shù)據(jù)模型中屬性項(xiàng)的目標(biāo)關(guān)鍵詞；

將獲取的源關(guān)鍵詞，依序遍歷匹配目標(biāo)關(guān)鍵詞，獲取與源關(guān)鍵詞匹配的目標(biāo)關(guān)鍵詞；

根據(jù)源關(guān)鍵詞匹配的目標(biāo)關(guān)鍵詞，建立將源數(shù)據(jù)模型轉(zhuǎn)換為目標(biāo)數(shù)據(jù)模型的映射關(guān)系。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述源數(shù)據(jù)模型和目標(biāo)數(shù)據(jù)模型中的每一個(gè)包括：數(shù)據(jù)表、EXEL表、可擴(kuò)展標(biāo)記語(yǔ)言以及文本。

3.根據(jù)權(quán)利要求2所述的方法，其中，一所述源關(guān)鍵詞唯一匹配一目標(biāo)關(guān)鍵詞，或一所述源關(guān)鍵詞匹配多個(gè)目標(biāo)關(guān)鍵詞，或多個(gè)所述源關(guān)鍵詞匹配同一目標(biāo)關(guān)鍵詞，或所述源關(guān)鍵詞沒(méi)有與之匹配的目標(biāo)關(guān)鍵詞。

4.根據(jù)權(quán)利要求3所述的方法，其中，所述根據(jù)源關(guān)鍵詞匹配的目標(biāo)關(guān)鍵詞，建立將源數(shù)據(jù)模型轉(zhuǎn)換為目標(biāo)數(shù)據(jù)模型的映射關(guān)系包括：

根據(jù)目標(biāo)數(shù)據(jù)模型的屬性項(xiàng)，對(duì)匹配的源數(shù)據(jù)模型的屬性項(xiàng)進(jìn)行拆分、合并以及數(shù)據(jù)歸一處理，將源數(shù)據(jù)模型映射至目標(biāo)數(shù)據(jù)模型。

5.根據(jù)權(quán)利要求1所述的方法，其中，采用最近鄰相似度算法中海明距離計(jì)算所述全局相似度。

6.根據(jù)權(quán)利要求5所述的方法，其中，計(jì)算所述全局相似度的公式為：

s i m ( X , Y ) = 1 - D I S T ( X , Y ) = 1 - Σ i = 1 n w i d i s t ( x i , y i ) ]]>

式中，

sim(X,Y)表示數(shù)據(jù)表中源數(shù)據(jù)記錄X與目標(biāo)數(shù)據(jù)記錄Y的全局相似度；

xi和yi分別為源數(shù)據(jù)記錄X和目標(biāo)數(shù)據(jù)記錄Y的第i個(gè)屬性；

wi表示第i個(gè)屬性的權(quán)重，i＝1,2,3,…,n，n為記錄中屬性的個(gè)數(shù)；

其中，

dist(xi,yi)＝|xi-yi|/|maxi-mini|

式中，

maxi，mini分別表示記錄的第i個(gè)屬性的最大值、最小值。