[發明專利]龍芯大數據一體機的任務優化調度方法及系統

在審

• 申請號: 202010909497.4
• 申請日: 2020-09-02
• 公開（公告）號: CN112148443A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 陳鋒;吳浩然;陳宇強
• 申請（專利權）人: 安徽中科龍安科技股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06N3/12
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種龍芯大數據一體機的任務優化調度方法及系統，通過估算任務處理時間，結合CPU利用率，采用遺傳算法對待處理任務隊列進行認為的優化調度，采用遺傳算法對待處理任務隊列進行認為的優化調度，不僅加快了龍芯大數據一體機多任務的處理速度，且有效提高了并行效率。

技術領域

本發明涉及大數據處理技術領域，尤其涉及一種龍芯大數據一體機的任務優化調度方法及系統。

背景技術

大數據一體機作為一種邊緣智能技術，是云計算的有效補充，能夠顯著減輕云計算中心的計算負載和通信代價。龍芯大數據一體機為采用龍芯3B處理器研制的國產大數據處理系統，其基本組成包括1個管理節點、5個計算節點和1個萬兆交換機，處理速度峰值超過1.5萬億次/秒，能夠實現大數據的傳輸、存儲、處理和分析等功能。

負載均衡是大數據一體機實現高性能計算的關鍵技術，其核心為任務調度。由于龍芯為MIPS架構處理器，基于X86指令集開發封裝的負載均衡系統無法移植到龍芯大數據一體機使用；Hadoop的負載均衡機制雖然為開源系統，但是主要是面向虛擬機的，且需要對硬盤等外設進行多次輸入/輸出操作。由于龍芯較Intel酷睿等處理器的性能有一定差距，虛擬機的采用降低了服務器性能，同時，頻繁的輸入/輸出操作影響了龍芯大數據一體機對大數據的高效處理。因此，需要研發面向MIPS架構的龍芯大數據一體機任務調度方法。

相關的大數據處理任務調度方法主要包括：FIFO調度算法、LATE算法、計算能力調度算法和基于人工智能的優化調度算法等，這些算法主要根據計算節點性能、任務處理所需要的資源、任務優先級等，進行任務調度，以實現負載均衡，但上述算法均假設各任務的處理時間已知，實際應用中無法滿足該前提條件；且虛擬機本身需要占用節點資源，不適用于龍芯大數據一體機系統。

發明內容

本發明的目的是提供一種龍芯大數據一體機的任務優化調度方法及系統，不僅加快了龍芯大數據一體機多任務的處理速度，且有效提高了并行效率。

本發明的目的是通過以下技術方案實現的：

一種龍芯大數據一體機的任務優化調度方法，包括：

讀取各個待處理任務對應的源程序，通過MIPS編譯器對每一源程序完成編譯處理，生成可執行文件和匯編文件；

對每一匯編文件進行處理，獲得相應源程序對應的指令總數，并結合讀取到的計算節點CPU主頻，估計相應待處理任務的處理時間；

根據讀取到的各計算節點CPU的利用率、以及各待處理任務的處理時間，采用遺傳算法獲得使任務處理時間最短的任務調度方案；

根據獲得的任務調度方案，將待處理任務對應的可執行文件分配至相應計算節點的CPU進行處理。

一種龍芯大數據一體機的任務優化調度系統，包括：

任務管理模塊，用于讀取各個待處理任務對應的源程序，通過MIPS編譯器對每一源程序完成編譯處理，生成可執行文件和匯編文件；

任務處理時間估算模塊，用于對匯編文件進行處理，獲得相應源程序對應的指令總數，并結合讀取到的計算節點CPU主頻，估計相應待處理任務的處理時間；

任務調度方案優化模塊，用于根據讀取到的各計算節點CPU的利用率、以及各待處理任務的處理時間，采用遺傳算法獲得使任務處理時間最短的任務調度方案；

任務分配模塊，用于根據獲得的任務調度方案，將待處理任務對應的可執行文件分配至相應計算節點的CPU進行處理。

由上述本發明提供的技術方案可以看出，通過估算任務處理時間，結合CPU利用率，采用遺傳算法對待處理任務隊列進行認為的優化調度，采用遺傳算法對待處理任務隊列進行認為的優化調度，不僅加快了龍芯大數據一體機多任務的處理速度，且有效提高了并行效率。