[發明專利]一種數據分布方法及裝置

有效

• 申請號: 201610049811.X
• 申請日: 2016-01-25
• 公開（公告）號: CN106997361B
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 郭遠勝
• 申請（專利權）人: 中國移動通信集團湖南有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;G06F16/28
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 黃志華

本發明公開了一種數據分布方法及裝置，針對數據庫中的任一數據表，可在確定所述數據表為偏移表時，根據確定的所述數據表中的每個數據列的、用于反映該數據列中的數據的離散性能的性能指標，確定對應的數據列的數據離散度，并根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低于設定離散度閾值的一數據列來建立新的分布列，以根據該新的分布列將相應數據重新分布到各分區節點上。從而解決了現有的數據分布方法由于對開發人員經驗的完全依賴而存在的、分布列的準確性和合理性較低、以及數據分布的效率較低等的問題。

技術領域

本發明涉及數據庫技術領域，尤其涉及一種數據分布方法及裝置。

背景技術

Greenplum是一個關系型數據庫集群，它實際上是由多個獨立的數據庫服務組合而成的邏輯數據庫。Greenplum采用Shared-Nothing(無共享)架構，整個集群由一個控制節點(Master Host)和多個分區節點(Segment Host)組成，且每個分區節點上可以運行一個數據庫。由于在典型的Shared-Nothing架構中，每一分區節點均是獨立的，即每一分區節點上的數據庫所占用的資源(如CPU，內存，磁盤等)都是獨立的，也就是說，一個分區節點不可利用另一個分區節點上的資源。

在Greenplum中，需要存儲的所有數據在進入Greenplum數據庫集群時，首先需要進行數據分布，即，為需要存儲的所有數據中的每個數據表指定一個分布列(DistributeColumn)，然后根據每個數據表對應的分布列，基于Hash算法等，將每個數據表中的數據平均分布到每個分區節點上。另外，若需要對某個數據表的分布列進行修改，則必須要重新創建該數據表才能實現對該數據表的分布列的修改。

具體地，對于Greenplum等并行執行的數據庫集群而言，只有將數據均勻分布在各個分區節點上才能充分發揮該數據庫集群的分布式處理數據的優勢，如果數據并沒有均勻的分布到各個分區節點上，而是發生了數據偏移(即負載不均衡)的現象，則數據量較多的分區節點在處理數據時，必然需要更長的時間，容易使數據的入庫加載、查詢分析、導出處理等受到影響。

目前，為了防止出現上述數據偏移所帶來的問題，業內常采用人工方式，重新確定存在數據偏移的數據表的分布列，以重新進行數據的分布。如，具體地，利用SQL(Structured Query Language，結構化查詢語言)語句查詢每個數據表在每一個分區節點上的數據量，找出發生數據偏移的數據表(即偏移表)，人工地將偏移表中的數據導出，以及，根據開發人員的經驗構建新的分布列并重新創建新的數據表，再將原數據表中的數據人工導入具有新分布列的新的數據表中，并根據新的分布列將該新的數據表中的數據均勻分布到各個分區節點上。

由上述內容可知，現有的數據分布方法中，分布列的確定完全依賴于開發人員的經驗，若開發人員的技術水平和/或對數據庫內的表數據以及結構的了解程度較低，則很容易存在所確定的分布列的準確性和合理性較低的問題。另外，由于人工確定分布列的速度較慢，因而，還會降低數據分布的效率。

發明內容

本發明實施例提供了一種數據分布方法及裝置，用以解決現有的數據分布方法由于對開發人員經驗的完全依賴而存在的、分布列的準確性和合理性較低、以及數據分布的效率較低等的問題。

本發明實施例提供了一種數據分布方法，包括：

針對數據庫中的任一數據表，確定所述數據表是否為偏移表；

若是，則確定所述數據表中的每個數據列的性能指標，并根據每個數據列的性能指標，確定對應的數據列的數據離散度；所述性能指標用于反映數據列中的數據的離散性能；

根據所述數據表中的每個數據列的數據離散度，選取對應的數據離散度不低于設定離散度閾值的一數據列，并根據選擇的數據列，確定分布列；

基于確定的分布列，將所述數據表中的數據分布到各分區節點上。