[發明專利]一種大規模并行處理系統及數據處理方法

在審

• 申請號: 201710850853.8
• 申請日: 2017-09-20
• 公開（公告）號: CN109522053A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 戴志勇;夏晨;鄭曉文
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 李丹;栗若木

本申請公開了一種大規模并行處理系統及數據處理方法，至少包括：管理節點、兩個或兩個以上的處理節點、以及存儲節點；其中，管理節點，用于接收來自用戶的請求并分發給處理節點，以及用于將來自處理節點對用戶的請求的處理結果返回給對應的用戶；處理節點，用于處理來自管理節點的用戶的請求，對存儲在存儲節點上的元數據進行操作；存儲節點，存儲處理節點的元數據。通過本申請，一方面，使得MPP架構具了有良好的可擴展性，避免了由于單個處理節點提供服務而帶來的瓶頸問題；另一方面，將元數據存儲管理從處理節點中剝離出來，實現了多個處理節點共享了同一份元數據。

技術領域

本申請涉及計算機技術，尤指一種大規模并行處理系統及數據處理方法。

背景技術

大規模并行處理(MPP，Massively Parallel Processing)技術使用多個結構化查詢語言(SQL，Structured Query Language)數據庫節點搭建的數據倉庫系統。在執行查詢時，查詢可以分散到多個SQL數據庫節點上執行，再將查詢結果匯總后返回給用戶。MPP技術基于關系數據庫的成熟技術，是伴隨著分布式與并行數據庫技術的發展而來的。其中，最為關鍵的技術就是MPP技術能夠判斷出數據之間的相互依賴關系，將可以進行并行操作的部分分發到各個節點上并行運行，并針對關系數據庫中最為常用的等值比較和等值聯接(Join)等操作做出特別的優化，將待比較的兩個不同表的列按照某種規律進行哈希(hash)處理，根據得到的不同的hash值將數據分發到不同的SQL數據庫節點上進行比較處理(也可以被看作是Hash Join的分布式形式)。這種將查詢中能進行并行的操作和操作產生的中間結果，通過這樣的方式分發到不同的SQL數據庫節點上運算，實現了最大程度地并行處理，提高了性能。

圖1為相關技術中MPP系統的組成示意圖，如圖1所示，傳統的MPP架構，一般會部署兩個主節點(Master)來保證服務的高可用，分別是主用主節點(Primary Master)和備用主節點(Standby Master)。正常情況下，只有Primary Master節點接收來自用戶的連接請求，Standby Master節點利用事務日志保持與Primary Master節點的同步，同步一般是實時的；Primary Master節點還要管理本地磁盤的元數據(Meta Date)，其中，元數據被定義為描述數據的數據。可以把元數據簡單地理解成最小的數據單位。元數據可以為數據說明其元素或屬性(如名稱、大小、數據類型、等)，或其結構(如長度、字段、數據列等)，或其相關數據(如位于何處、如何聯系、擁有者等)。當Primary Master節點出現故障時，StandbyMaster節點自動切換成Primary Master節點，以保證原Primary Master節點故障時最后提交的事務可以正常提交，并且使用相同的端口接入來自用戶的新的連接請求。

傳統MPP架構利用日志技術實時同步兩臺Master節點的數據，并不具備良好的可擴展性，而且維護代價較高，且同時只有一個Master節點即Primary Master節點對外服務，這樣，一方面，浪費了硬件資源，另一方面，由于Standby Master節點并不對外提供服務，因此，請求越多，Primary Master節點的壓力就會越大，從而造成了單個Primary Master節點的處理能力也很可能會成為整個系統的瓶頸的問題。

發明內容

本申請提供了一種大規模并行處理系統及數據處理方法，具有良好的可擴展性，避免系統瓶頸問題。

本申請提供了一種大規模并行處理系統，包括：管理節點、兩個或兩個以上的處理節點、以及存儲節點；其中，

管理節點，用于接收來自用戶的請求并分發給處理節點，以及用于將來自處理節點對用戶的請求的處理結果返回給對應的用戶；

處理節點，用于處理來自管理節點的用戶的請求，對存儲在存儲節點上的元數據進行操作；

存儲節點，存儲處理節點的元數據。