[發明專利]一種數據分布方法及裝置

有效

• 申請號: 201610049811.X
• 申請日: 2016-01-25
• 公開（公告）號: CN106997361B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 郭遠勝
• 申請（專利權）人: 中國移動通信集團湖南有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;G06F16/28
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

1.一種數據分布方法，其特征在于，包括：

針對數據庫中的任一數據表，確定所述數據表是否為偏移表；

若是，則確定所述數據表中的每個數據列的性能指標，并根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用于反映數據列中的數據的離散性能；

根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低于設定離散度閾值的一數據列，并根據選擇的數據列，確定分布列；

基于確定的分布列，將所述數據表中的數據分布到各分區節點上；

其中，針對任一數據表，通過以下方式確定所述數據表是否為偏移表：

確定所述數據表是否在至少一個分區節點上分布的數據量大于設定的數據量平均值，若是，則確定所述數據表為偏移表；或者，

確定所述數據表在任意兩個分區節點上分布的數據量之差是否不小于設定閾值，若是，則確定所述數據表為偏移表。

2.如權利要求1所述的方法，其特征在于，所述性能指標包括列平均抽樣誤差、列數據差異率以及列值頻率；

所述列平均抽樣誤差，是指數據列的樣本數據與數據列的總體數據的平均誤差；

所述列數據差異率，是指數據列的樣本數據中的數據差異數與數據列的總體數據中的數據差異數的比值；

所述列值頻率，是指在設定時間段內數據列與數據庫中的其它數據表之間發生關聯查詢的次數。

3.如權利要求2所述的方法，其特征在于，根據每個數據列的性能指標，確定對應的數據列的數據離散度，包括：

針對任一數據列，確定該數據列的各性能指標的權重；

根據該數據列的各性能指標的權重，對該數據列的各性能指標進行加權求和，并將加權求和的結果作為該數據列的數據離散度。

4.如權利要求3所述的方法，其特征在于，針對任一數據列，確定該數據列的各性能指標的權重，包括：

確定該數據列的各性能指標的負相關系數；每一性能指標的負相關系數用于反映該性能指標與其它性能指標之間的相關性大小，該性能指標的負相關系數越大，該性能指標與其它性能指標之間的相關性越大；

將各性能指標的負相關系數的倒數，或各性能指標的負相關系數的倒數的歸一化值，作為對應的性能指標的權重。

5.如權利要求1所述的方法，其特征在于，根據選擇的數據列，確定分布列，包括：

將選擇的數據列作為分布列；或者，

根據選擇的數據列中的數據的數量以及分區節點的數量，建立分布列。

6.如權利要求1所述的方法，其特征在于，基于確定的分布列，將所述數據表中的數據分布到各分區節點上，包括：

根據所述分布列建立一新數據表，并將所述數據表中的數據導入至所述新數據表中，以及，根據所述分布列將所述新數據表中的數據分布到各分區節點上。

7.一種數據分布裝置，其特征在于，包括：

確定模塊，用于針對數據庫中的任一數據表，確定所述數據表是否為偏移表；若是，則確定所述數據表中的每個數據列的性能指標，并根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用于反映數據列中的數據的離散性能；

選擇模塊，用于根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低于設定離散度閾值的一數據列，并根據選擇的數據列，確定分布列；

分布模塊，用于基于確定的分布列，將所述數據表中的數據分布到各分區節點上；

其中，所述確定模塊，具體用于確定所述數據表是否在至少一個分區節點上分布的數據量大于設定的數據量平均值，若是，則確定所述數據表為偏移表；或者，

確定所述數據表在任意兩個分區節點上分布的數據量之差是否不小于設定閾值，若是，則確定所述數據表為偏移表。