[發明專利]數據處理方法及裝置

有效

• 申請號: 201710386802.4
• 申請日: 2017-05-26
• 公開（公告）號: CN108932268B
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 劉洋;車文彬;張旭
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2458
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 羅振安

1.一種數據處理方法，其特征在于，所述方法包括：

分別獲取屬于樣本數據表的樣本列字段與屬于至少一個基準數據表的n個基準列字段中的每個基準列字段的相似度集合，第i個所述相似度集合包括：所述樣本列字段的特征集與所述n個基準列字段中的第i個基準列字段的特征集的相似度，所述n≥i≥1；

根據獲取到的n個相似度集合以及每個所述相似度的預設權重，確定所述樣本列字段在所述n個基準列字段中對應的初始基準列字段；

獲取準確度標簽，所述準確度標簽用于指示：所述樣本列字段與所述初始基準列字段的對應關系的準確度；

根據所述準確度標簽和獲取到的n個相似度集合，確定每個所述相似度的目標權重；

根據獲取到的n個相似度集合以及每個所述相似度的目標權重，確定所述樣本列字段在所述n個基準列字段中對應的目標基準列字段。

2.根據權利要求1所述的方法，其特征在于，參考基準列字段為所述n個基準列字段中的任一列字段，所述分別獲取屬于樣本數據表的樣本列字段與屬于至少一個基準數據表的n個基準列字段中的每個基準列字段的相似度集合，包括：

采用m種特征提取方法提取所述樣本列字段的m個第一特征集，所述m種特征提取方法與所述m個第一特征集一一對應，采用所述m種特征提取方法中的每種特征提取方法能夠提取出對應的一個第一特征集，所述m≥5；

采用所述m種特征提取方法提取所述參考基準列字段的m個第二特征集，所述m個第二特征集與所述m個第一特征集一一對應，且每個所述第一特征集與對應的第二特征集均采用同一種特征提取方法提取得到；

確定每個所述第一特征集與對應的第二特征集的相似度；

確定所述樣本列字段與所述參考基準列字段的相似度集合，所述樣本列字段與所述參考基準列字段的相似度集合包括：每個所述第一特征集與對應的第二特征集的相似度。

3.根據權利要求2所述的方法，其特征在于，

所述m個第一特征集包括：所述樣本列字段的列特征，以及所述樣本列字段所在的數據表的表特征；

所述m個第二特征集包括：所述參考基準列字段的列特征，以及所述參考基準列字段所在的數據表的表特征。

4.根據權利要求2所述的方法，其特征在于，所述準確度標簽還用于指示：所述樣本列字段與其他基準列字段中的每個基準列字段的非對應關系的準確度，所述其他基準列字段為所述n個基準列字段中除所述初始基準列字段之外的基準列字段，所述根據所述準確度標簽和獲取到的n個相似度集合，確定每個所述相似度的目標權重，包括：

根據所述準確度標簽、所述獲取到的n個相似度集合以及預設回歸公式，確定目標權重矩陣，所述目標權重矩陣為1行m列的矩陣，所述目標權重矩陣中的m個元素分別為：所述m個第一特征集與對應的第二特征集的m個相似度的目標權重；

其中，所述預設回歸公式為：θ＝YX^T(XX^T)^-1，所述θ為所述目標權重矩陣，所述Y為所述準確度標簽，所述X為n行m列的矩陣，且所述X中的每行元素包括一個所述相似度集合的元素，所述X中的所有元素包括所述n個相似度集合的元素，X^T表示X的轉置。

5.根據權利要求2所述的方法，其特征在于，所述m種特征提取方法包括：

基于N元語法的特征提取方法、基于詞向量的特征提取方法、基于數據分布的特征提取方法、基于屬性名的特征提取方法、基于數據類型的特征提取方法以及基于最小描述長度的特征提取方法中的至少5種特征提取方法。