[發明專利]屬性對齊方法和裝置

有效

• 申請號: 201610648457.2
• 申請日: 2016-08-08
• 公開（公告）號: CN107704474B
• 公開（公告）日: 2020-08-25
• 發明（設計）人: 陳慶玉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

1.一種屬性對齊方法，其特征在于，

獲取需要進行屬性對齊的N個數據源，N≥2；

根據所述N個數據源的屬性名稱得到屬性名稱集合并且生成內部詞典，其中，所述屬性名稱集合包含所述N個數據源的所有屬性名稱，所述內部詞典包含所述N個數據源中已經屬性對齊成功的屬性名稱；

根據所述屬性名稱集合、所述內部詞典以及所述N個數據源中每個數據源的屬性名稱，得到所述每個數據源的屬性特征向量，其中，所述屬性特征向量包含0或1，1表示對應位置的屬性名稱屬于所述每個數據源，0表示對應位置的屬性名稱不屬于所述每個數據源但屬于所述屬性名稱集合；

根據所述每個數據源的屬性特征向量計算所述N個數據源中任意兩個數據源之間的相似度，并且根據所述N個數據源中任意兩個數據源之間的相似度得到N*N的相似度矩陣；

根據所述相似度矩陣對所述N個數據源進行聚類得到k個聚類，1k≤N；

根據所述內部詞典對所述k個聚類中屬于同一聚類的數據源進行屬性對齊得到k個數據源，對所述k個數據源進行屬性對齊得到一個結果數據源；

所述根據所述內部詞典對所述k個聚類中屬于同一聚類的數據源進行屬性對齊得到k個數據源，包括：

設置匹配相似度閾值Qa、當前迭代次數C和終止迭代次數STOP；

根據所述內部詞典對屬于同一聚類的第一數據源與第二數據源進行屬性對齊，并將所述第一數據源與所述第二數據源中互相對齊的屬性名稱標識為已對齊屬性，將未互相對齊的屬性名稱標識為待對齊屬性；

對所述第一數據源的待對齊屬性中的一個屬性名稱與所述第二數據源的待對齊屬性中的C個待對齊屬性計算屬性相似度，對所述第二數據源的待對齊屬性中的一個屬性名稱與所述第一數據源的待對齊屬性中的C個待對齊屬性計算屬性相似度；

將大于所述相似度閾值Qa的屬性相似度所對應的屬性名稱加入所述內部詞典；

如果所述第一數據源或所述第二數據源中待對齊屬性個數小于等于C或者C等于STOP，則完成對所述第一數據源和所述第二數據源的屬性對齊，并且將所述第一數據源和所述第二數據源整合作為新的數據源來替換所述第一數據源和所述第二數據源，否則，使C加1并重復進行所述根據所述內部詞典對屬于同一聚類的第一數據源與第二數據源進行屬性對齊，直至同一個聚類整合為一個數據源。

2.根據權利要求1所述的方法，其特征在于，所述根據所述N個數據源的屬性名稱得到屬性名稱集合并且生成內部詞典，包括：

將所述N個數據源的所有屬性名稱進行集中以形成原始屬性名稱集合；

對所述原始屬性名稱集合按照字典序進行排序得到所述屬性名稱集合。

3.根據權利要求2所述的方法，其特征在于，在所述對所述原始屬性名稱集合按照字典序進行排序得到所述屬性名稱集合之前，所述方法還包括：

對所述原始屬性名稱集合進行去重，并且將重復的屬性名稱加入所述內部詞典。

4.根據權利要求2所述的方法，其特征在于，在所述對所述原始屬性名稱集合按照字典序進行排序得到所述屬性名稱集合之前，所述方法還包括：

通過最小編輯距離算法對所述原始屬性名稱集合中的屬性名稱的輸入錯誤進行糾正，并且將錯誤的屬性名稱和對應的正確的屬性名稱加入所述內部詞典。

5.根據權利要求2所述的方法，其特征在于，在所述對所述原始屬性名稱集合按照字典序進行排序得到所述屬性名稱集合之前，所述方法還包括：

借助外部詞典對所述原始屬性名稱集合中的同義詞和上下位詞進行替換，并且將互為同義詞或上下位詞的屬性名稱加入所述內部詞典。

6.根據權利要求1所述的方法，其特征在于，所述根據所述屬性名稱集合、所述內部詞典以及所述N個數據源中每個數據源的屬性名稱，得到所述每個數據源的屬性特征向量，包括：

根據所述內部詞典對所述每個數據源的屬性名稱進行匹配，以消除屬性名稱中的同義詞、上下位詞和輸入錯誤；

對所述每個數據源的匹配后的屬性名稱按照字典序排序；

根據所述屬性名稱集合對所述每個數據源的排序后的屬性名稱進行向量化以生成所述每個數據源的屬性特征向量。