[發(fā)明專利]屬性對(duì)齊方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610648457.2
• 申請(qǐng)日: 2016-08-08
• 公開（公告）號(hào): CN107704474B
• 公開（公告）日: 2020-08-25
• 發(fā)明（設(shè)計(jì)）人: 陳慶玉
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/25
• 分類號(hào): G06F16/25
• 代理公司: 北京中博世達(dá)專利商標(biāo)代理有限公司 11274
• 代理人: 申健

本發(fā)明公開了一種屬性對(duì)齊方法和裝置，涉及數(shù)據(jù)分析領(lǐng)域，用于解決將一個(gè)數(shù)據(jù)源的一個(gè)屬性匹配另一個(gè)數(shù)據(jù)源的多個(gè)屬性導(dǎo)致計(jì)算復(fù)雜度大的問(wèn)題。屬性對(duì)齊方法包括：獲取N個(gè)數(shù)據(jù)源；根據(jù)N個(gè)數(shù)據(jù)源得到屬性名稱集合并生成內(nèi)部詞典；根據(jù)屬性名稱集合、內(nèi)部詞典以及N個(gè)數(shù)據(jù)源中每個(gè)數(shù)據(jù)源的屬性名稱，得到每個(gè)數(shù)據(jù)源的屬性特征向量；根據(jù)每個(gè)數(shù)據(jù)源的屬性特征向量計(jì)算N個(gè)數(shù)據(jù)源中任意兩個(gè)數(shù)據(jù)源之間的相似度和相似度矩陣；根據(jù)相似度矩陣對(duì)N個(gè)數(shù)據(jù)源進(jìn)行聚類得到k個(gè)聚類；根據(jù)內(nèi)部詞典對(duì)k個(gè)聚類中同一聚類的數(shù)據(jù)源進(jìn)行屬性對(duì)齊得到k個(gè)數(shù)據(jù)源，對(duì)k個(gè)數(shù)據(jù)源進(jìn)行屬性對(duì)齊得到一個(gè)結(jié)果數(shù)據(jù)源。本發(fā)明的實(shí)施例應(yīng)用于數(shù)據(jù)分析。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，尤其涉及一種屬性對(duì)齊方法和裝置。

背景技術(shù)

參照?qǐng)D1中所示，數(shù)據(jù)分析主要包括數(shù)據(jù)收集(英文全稱：data collection)、數(shù)據(jù)整合(英文全稱：data curation)和數(shù)據(jù)分析(英文全稱：data analytics)這三個(gè)階段。其中，數(shù)據(jù)收集即將各種業(yè)務(wù)所產(chǎn)生的數(shù)據(jù)做收集、建模和存儲(chǔ)；數(shù)據(jù)整合即對(duì)其收集到的各種數(shù)據(jù)源做數(shù)據(jù)探查(英文全稱：data profiling)、數(shù)據(jù)清洗(英文全稱：datacleansing)、屬性對(duì)齊(英文全稱：schema mapping)、數(shù)據(jù)轉(zhuǎn)換(英文全稱：datatransforming)和數(shù)據(jù)去重(英文全稱：data deduplication)，形成一個(gè)統(tǒng)一的數(shù)據(jù)源；數(shù)據(jù)分析即對(duì)數(shù)據(jù)整合得到的數(shù)據(jù)源做相應(yīng)的業(yè)務(wù)分析報(bào)表以及預(yù)測(cè)評(píng)估。由此可見(jiàn)，數(shù)據(jù)整合為數(shù)據(jù)分析的關(guān)鍵階段，整合質(zhì)量對(duì)于后續(xù)的數(shù)據(jù)分析非常重要。

在數(shù)據(jù)整合中，屬性對(duì)齊作用是把不同數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)源轉(zhuǎn)換成一個(gè)統(tǒng)一的數(shù)據(jù)結(jié)構(gòu)的數(shù)據(jù)源。比如有的使用同義詞，如聯(lián)系電話這個(gè)屬性分別使用Phone和Telephone；有的使用上下位詞，如電話這個(gè)屬性分別使用Phone和Mobile；有的存在輸入錯(cuò)誤，比如錯(cuò)把Company輸錯(cuò)位Compamy；有的使用縮寫代表全拼，如把Address縮寫成Addr，縮寫沒(méi)有統(tǒng)一標(biāo)準(zhǔn)；有的使用分開定義和合并定義，如對(duì)姓名的定義，有的使用分開定義FirstName和LastName，有的使用合并定義UserName。正是因?yàn)榇嬖诟鞣N不同的情況，使得屬性對(duì)齊的難度增加，尤其當(dāng)有萬(wàn)級(jí)數(shù)據(jù)源、千萬(wàn)級(jí)屬性做屬性對(duì)齊時(shí)，需要耗費(fèi)大量的時(shí)間，對(duì)效率是一個(gè)非常大的考驗(yàn)。

現(xiàn)有技術(shù)中對(duì)于進(jìn)行屬性對(duì)齊的所有N個(gè)數(shù)據(jù)源不做區(qū)分，每一輪屬性對(duì)齊時(shí)，任取兩個(gè)數(shù)據(jù)源A和B，對(duì)數(shù)據(jù)源A和B進(jìn)行屬性對(duì)齊：首先將數(shù)據(jù)源A的1個(gè)屬性匹配數(shù)據(jù)源B的1個(gè)屬性；如果兩個(gè)數(shù)據(jù)源A和B都還有未匹配的屬性，接著將數(shù)據(jù)源A的1個(gè)屬性匹配數(shù)據(jù)源B的2個(gè)屬性，將數(shù)據(jù)源B的1個(gè)屬性匹配數(shù)據(jù)源A的2個(gè)屬性；并以此類推將一個(gè)數(shù)據(jù)源的一個(gè)屬性匹配另一個(gè)數(shù)據(jù)源的多個(gè)屬性，直到完成全部屬性對(duì)齊或者達(dá)到匹配迭代次數(shù)的閾值，就完成了其中兩個(gè)數(shù)據(jù)源A和B的屬性匹配。兩個(gè)數(shù)據(jù)源A和B完成匹配后，形成一個(gè)新的數(shù)據(jù)源AB，并入原來(lái)的數(shù)據(jù)源中，得到N-1個(gè)數(shù)據(jù)源。然后在這N-1個(gè)數(shù)據(jù)源中，再任取兩個(gè)數(shù)據(jù)源進(jìn)行屬性匹配。重復(fù)這個(gè)過(guò)程，直到完成所有數(shù)據(jù)源的屬性匹配，最終得到一個(gè)統(tǒng)一屬性名稱的數(shù)據(jù)源。其中，耗費(fèi)最多計(jì)算時(shí)間的即是將一個(gè)數(shù)據(jù)源的一個(gè)屬性匹配另一個(gè)數(shù)據(jù)源的多個(gè)屬性，會(huì)匹配次數(shù)過(guò)多，計(jì)算復(fù)雜度大，從而導(dǎo)致效率低。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供一種屬性對(duì)齊方法和裝置，用于解決現(xiàn)有技術(shù)中將一個(gè)數(shù)據(jù)源的一個(gè)屬性匹配另一個(gè)數(shù)據(jù)源的多個(gè)屬性導(dǎo)致計(jì)算復(fù)雜度大的問(wèn)題。

為達(dá)到上述目的，本發(fā)明的實(shí)施例采用如下技術(shù)方案：

一方面，本發(fā)明實(shí)施例提供了一種屬性對(duì)齊方法。該方法包括：