[發明專利]確定數據庫表中字段相關度的方法和裝置

在審

• 申請號: 202011248181.1
• 申請日: 2020-11-10
• 公開（公告）號: CN113761297A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 張蒙
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/906;G06F16/901
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張效榮;王志遠

1.一種確定數據庫表中字段相關度的方法，其特征在于，包括：

對于數據庫表中待分析的任意兩個字段，依據每一字段的元素判斷該字段所屬的字段類型；其中，所述字段類型包括：數值型字段和分類型字段，分類型字段中的元素屬于至少兩個元素類別；

當所述兩個字段之一為數值型字段、另一為分類型字段時，確定分類型字段中屬于同一元素類別的元素，并將該元素對應的數值型字段中的元素構成一個分析組；

確定針對各分析組的組間方差和組內方差，根據所述組間方差和所述組內方差獲得所述兩個字段的相關度指標。

2.根據權利要求1所述的方法，其特征在于，所述依據每一字段的元素判斷該字段所屬的字段類型，包括：

對于待分析的任一字段，判斷該字段中符合預設的第一正則表達式的元素占比是否不小于第一閾值：若是，將該字段確定為數值型字段；其中，第一正則表達式用于匹配浮點數；

如果該字段中符合第一正則表達式的元素占比小于第一閾值，則判斷該字段中去重后的元素數量是否大于1并且不大于第二閾值：若是，將該字段確定為分類型字段；其中，第二閾值與該字段中的元素總數相關并且小于該元素總數。

3.根據權利要求1所述的方法，其特征在于，所述依據每一字段的元素判斷該字段所屬的字段類型，包括：

對于待分析的任一字段，判斷該字段中去重后的元素數量是否大于1并且不大于第二閾值：若是，將該字段確定為分類型字段；其中，第二閾值與該字段中的元素總數相關并且小于該元素總數；

如果該字段中去重后的元素數量為1或者大于第二閾值，則判斷該字段中符合預設的第二正則表達式的元素占比是否不小于第三閾值：若是，將該字段確定為數值型字段；其中，第二正則表達式用于匹配浮點數和整數。

4.根據權利要求1所述的方法，其特征在于，所述根據所述組間方差和所述組內方差獲得所述兩個字段的相關度指標，包括：

將所述組間方差除以所述組內方差得到所述兩個字段的相關度初始值，將所述相關度初始值的自然對數確定為相關度中間值；

將所述相關度中間值變換到從零到一的數值區間，形成所述兩個字段的相關度指標。

5.根據權利要求4所述的方法，其特征在于，所述將所述相關度中間值變換到從零到一的數值區間，形成所述兩個字段的相關度指標，包括：

當所述相關度中間值小于零時，將所述相關度指標確定為零；

當所述相關度中間值大于第一數值時，將所述相關度指標確定為一；其中，第一數值為大于一的實數；

當所述相關度中間值不小于零且不大于第一數值時，將所述相關度指標確定為所述相關度中間值與第二數值的乘積；其中，第二數值為第一數值的倒數。

6.根據權利要求4所述的方法，其特征在于，所述方法進一步包括：

當所述數據庫表中待分析的任意兩個字段都是數值型字段時，將所述兩個字段的斯皮爾曼相關系數的絕對值確定為所述兩個字段的相關度指標；

當所述數據庫表中待分析的任意兩個字段都是分類型字段時，將所述兩個字段的克萊姆相關系數確定為所述兩個字段的相關度指標。

7.根據權利要求6所述的方法，其特征在于，所述方法進一步包括：

在得到所述數據庫表中待分析的任意兩個字段的相關度指標之后，將該相關度指標輸入預設的相關度矩陣；其中，

所述相關度矩陣的行數與列數都等于所述數據庫表的待分析字段總數，各行與各列分別對應于以預設順序排列的所述數據庫表中待分析字段的標識，所述相關度矩陣中的任一元素為該元素所在行對應的字段與該元素所在列對應的字段之間的相關度指標，該元素的灰度值與該相關度指標正相關。