[發明專利]一種數據運算方法及裝置

有效

• 申請號: 201410140151.7
• 申請日: 2014-04-09
• 公開（公告）號: CN104978344B
• 公開（公告）日: 2018-11-20
• 發明（設計）人: 業韜;陳系華;張亮
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

本發明實施例公開了一種數據運算方法，包括：確定各個服務器對應的數據量；根據目標服務器對應的數據量，判斷該目標服務器是否存在數據偏斜；若是，則將目標服務器對應的數據復制到無數據偏斜的冗余服務器，并修改路由信息；當接收到針對目標數據鍵值的數據運算信息，并根據修改后的路由信息確定該目標數據鍵值所在服務器為目標服務器以及對應的冗余服務器時，為目標服務器以及對應的冗余服務器分配待處理數據，以使目標服務器以及對應的冗余服務器根據數據運算信息分別對不同的數據進行運算。相應地，本發明實施例還公開了一種數據運算裝置。采用本發明實施例，實現了集群數據重分布時偏斜數據的自動復制，提高了集群數據的運算效率。

技術領域

本發明涉及計算機網絡技術領域，尤其涉及一種數據運算方法及裝置。

背景技術

隨著傳統的數據庫技術日趨成熟、計算機網絡技術的飛速發展，數據庫應用已經普遍建立于計算機網絡之上。其中，集中式數據庫采用集中式處理，通信開銷較大，處理效率低，并且，應用程序集中在同一臺計算機上運行，一旦該計算機出現故障，則整個系統將會受到影響。因此，在集中式數據庫的基礎上提出了分布式數據庫，相對于集中式數據庫而言，分布式數據庫可以根據不同的分布需求將數據存儲于不同服務器中，即不同計算機的存儲設備中。

在分布式數據庫中，因為數據分布的不規律性以及路由算法的局限性，常常會造成各個服務器上的數據量不平衡，即某些服務器上的數據量比其他服務器上的數據量多很多，形成了數據偏斜現象，其中，數據量用于表示服務器存儲的數據的多少。例如，分布式數據庫的數據進行重分布時，即將分布式數據庫中的數據根據其他的分布方法分布到對應的服務器中，路由規則是按照手機用戶號碼號段進行分布，但是，根據號碼號段啟用時間的不同，各個號碼號段內用戶的數量也有差異，如存儲新啟用號碼號段數據的服務器的數據量比其他服務器上的數據量少很多。

因此，當各個服務器對自身存儲的數據進行運算時，數據量較多的服務器明顯比數據量較少的服務器的負擔大，降低了集群運算的效率。例如，分布式數據庫存在A、B、C、D四個服務器，在對集群數據進行重分布之后，假設A服務器存儲了10萬數據，B服務器存儲了1萬數據，C服務器存儲了20萬數據，D服務器存儲了11萬數據，當各個服務器針對自身的數據進行運算時，C服務器的負擔明顯大于B服務器的負擔。

發明內容

本發明實施例提供了一種數據運算方法及裝置，可以實現集群數據重分布時偏斜數據自動復制，提高集群數據運算效率。

本發明實施例第一方面提供了一種數據運算方法，所述數據運算方法應用于分布式數據庫，其中，所述分布式數據庫包括多個服務器，所述方法包括：

根據所統計的預設分布鍵的各個數據鍵值對應的數據量以及路由信息中所述各個數據鍵值與服務器的對應關系，確定各個服務器對應的數據量；

根據目標服務器對應的數據量，判斷該目標服務器是否存在數據偏斜；

若所述目標服務器存在數據偏斜，則將所述目標服務器對應的數據復制到無數據偏斜的冗余服務器，并修改所述路由信息，使所述目標服務器對應的數據鍵值與所述目標服務器及冗余服務器建立對應關系，其中，所述目標服務器對應至少一個數據鍵值；

當接收到針對目標數據鍵值的數據運算信息，并根據修改后的路由信息確定該目標數據鍵值所在服務器為目標服務器以及對應的冗余服務器時，為所述目標服務器以及對應的冗余服務器分配待處理數據，以使所述目標服務器以及對應的冗余服務器根據所述數據運算信息分別對不同的數據進行運算。

在第一種可能的實現方式中，所述根據目標服務器對應的數據量，判斷該目標服務器是否存在數據偏斜包括：

將目標服務器對應的數據量與其他服務器對應的數據量進行比較；

若目標服務器對應的數據量與任意一個服務器的數據量的差值達到預設閾值，則判斷所述目標服務器存在數據偏斜。