[發明專利]基于國產化計算機集群的并行計算系統及方法

在審

• 申請號: 201810383916.8
• 申請日: 2018-04-26
• 公開（公告）號: CN108595368A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 郭申;張力;張智勇
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06F15/16
• 分類號: G06F15/16;G06F9/38
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

本發明公開了一種基于國產化計算機集群的并行計算系統及方法，該方法包括：設置一控制節點，用于接收用戶提交的作業，設作業可分割并行的任務總量為m，根據作業的需求，確定所需的計算節點數量N和計算核心數量n；將作業分發到N個計算節點，由n個計算核心進行并行計算，每個計算核心負責計算m/n個計算任務，待n個計算核心全部完成計算后，將n個計算中間結果傳送到一個主計算節點進行匯總；將控制結點分為主控制結點以及備用控制結點，使得主控制結點以及備用控制結點同時管理監控集群計算節點的狀態，以及作業的運行情況，當主控制節點軟件故障或者硬件宕機，備用節點內接管主控制節點的工作；在控制結點以及多個計算結點適配安裝國產化銀河麒麟操作系統。

技術領域

本發明涉及基于計算機集群的并行計算系統，尤其涉及基于國產化計算機集群的并行計算系統。

背景技術

隨著互聯網的不斷普及，世界上每時每刻都在產生著海量的數據。對所產生的海量數據進行統計分析，就能夠從看似雜亂繁多數據中挖掘出有意義的信息，進而創造經濟價值。同時，數據的產生以近乎幾何級數的速度高速增長，對計算能力提出了巨大需求。但受限于半導體的摩爾定律，CPU核心的主頻和計算能力不可能再有跨越式的提升，并且單個計算節點CPU集成的核心數量也收到限制。因此，研制發展多計算節點的并行計算方法是十分必要的。計算機集群是一個多計算節點的計算設備，其中每個計算節點又具有多個計算核心，因此具有很強的并行計算能力，且具有優秀的擴展性。

另一方面，目前已有的集群并行計算設備，一般都是基于英特爾X86CPU，與微軟Windows操作系統實現的。這些計算設備，核心技術全部由外國公司掌握，無法做到自主可控。計算設備安全穩定地運行關系著國家安全，社會穩定，因此計算設備的國產化自主可控具有重大的意義，要實現操作系統、CPU等關鍵軟硬件的國產化自主研發、生產、升級、維護的全生命周期可控。只有全面掌握產品核心技術，才能獨立發展，不受制于人，能切實維護信息安全，保障國家利益。

發明內容

本發明的目的在于提供一種基于國產化計算機集群的并行計算系統及方法，用于解決現有的單計算節點計算能力不足的問題。

本發明一種基于國產化計算機集群的并行計算系統，其中，包括：控制結點、交換機以及多個計算結點，每個計算結點包括多個計算核心，控制結點包括主控制結點以及備用控制結點；多個計算結點中包括一個主計算結點；在控制結點以及多個計算結點適配安裝國產化銀河麒麟操作系統；控制節點用于接收用戶提交的作業，設作業可分割并行的任務總量為m，根據作業的需求，確定所需的計算節點數量N和計算核心數量n；控制節點還通過交換機將作業分發到N個計算節點，由n個計算核心進行并行計算，每個計算核心負責計算m/n個計算任務，待n個計算核心全部完成計算后，將n個計算中間結果通過交換機傳送到一個主計算節點進行匯總；主控制結點以及備用控制結點同時管理監控集群計算節點的狀態，以及作業的運行情況，當主控制節點軟件故障或者硬件宕機，備用節點內接管主控制節點的工作。

根據本發明的基于國產化計算機集群的并行計算系統的一實施例，其中，控制結點以及多個計算結點的CPU為國產化CPU飛騰1500A。

根據本發明的基于國產化計算機集群的并行計算系統的一實施例，其中，控制節點構建有基于先入先出優先級的作業緩沖隊列，在控制節點一次性批量提交多個作業后，判斷集群中空閑狀態計算節點數量與計算核心數量是否滿足作業的需求，若滿足需求，則作業分發到計算節點進行計算，否則將此作業放入作業緩沖隊列進行排隊；當一個作業計算完畢后，控制節點向用戶輸出此作業的計算結果，并從作業緩沖隊列中取出下一個作業，分發到計算節點進行計算。

根據本發明的基于國產化計算機集群的并行計算系統的一實施例，其中，多個計算結點之間采用以太網通訊方式，每個計算節點的核心只能訪問本地的內存，節點間需要網絡傳輸進行通信；對于單個結點的多個計算核心采用共享內存的工作方式。