[發明專利]基于輕量級虛擬機的并行計算方法、裝置及系統

有效

• 申請號: 201710059886.0
• 申請日: 2017-01-24
• 公開（公告）號: CN106874067B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 劉一強;陸以勤;覃健誠;項來
• 申請（專利權）人: 華南理工大學
• 主分類號: G06F9/455
• 分類號: G06F9/455;G06F9/54
• 代理公司: 廣州市越秀區哲力專利商標事務所(普通合伙) 44288
• 代理人: 羅峰;高淑怡

本發明公開了基于輕量級虛擬機的并行計算方法、裝置及系統，方法包括：接收計算請求并將該計算請求放入任務隊列中；所述任務隊列中包含至少一個計算請求，該任務隊列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數據和代碼；根據查詢請求查詢所有計算節點的狀態信息；所述狀態信息包括可用于計算和不可用于計算；根據計算節點的狀態信息將計算數據和代碼發送至可用于計算的計算節點，使所有可用于計算的計算節點對應的輕量級虛擬機同步運行代碼進行計算。本發明的代碼可以重用，編程復雜度低，執行效率高。

技術領域

本發明涉及計算機領域，尤其涉及基于輕量級虛擬機的并行計算方法、裝置及系統。

背景技術

21世紀是信息化的時代，由于傳感技術和通信網絡的發展、數據收集和存儲的規模在飛速增大，如何從海量數據中挖據出有效的信息是當前的研究熱點。目前較為普遍的方案是采用集群系統和分布式框架來提高數據處理的效率。并行計算是提高計算機系統計算速度和處理能力的一種有效手段。

并行計算或稱平行計算是相對于串行計算來說的。它是一種一次可執行多個指令的算法，目的是提高計算速度，以及通過擴大問題求解規模，解決大型而復雜的計算問題。所謂并行計算可分為時間上的并行和空間上的并行。時間上的并行就是指流水線技術，而空間上的并行則是指用多個處理器并發的執行計算。并行計算是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統計算速度和處理能力的一種有效手段。它的基本思想是用多個處理器來協同求解同一問題，即將被求解的問題分解為若干個部分，各部分均由一個獨立的處理機來并行計算。并行計算系統既可以是專門設計的、含有多個處理器的超級計算機，也可以是以某種方式互連的若干臺獨立計算機構成的集群。

MPI(信息傳遞接口)是目前開發并行應用程序的主要編程模型，消息傳遞編程模型的事實標準。MPI存在的問題是，針對不同的并行算法，需要重寫數據分配、通信等細節，代碼重用率低，機器擴展性能差，對編程人員的要求高，且優化和調試成本高。

MapReduce是谷歌提出的一種并行化編程框架，其通過簡單的編程模型，使得用戶從編寫底層程序中解放出來，只需將注意力放在上層應用。然而用戶很難對復雜數據進行處理，用于不得不編寫大量的MapReduce任務，往往導致執行效率低下。尤其在迭代過程中，Map和Reduce會頻繁進行序列化和反序列化操作，這些操作導致了較高的輸入和輸出開銷。

發明內容

為了克服現有技術的不足，本發明的目的之一在于提供基于輕量級虛擬機的并行計算方法，其能解決現有技術中執行效率低、復雜度高的問題。

本發明的目的之二在于提供基于輕量級虛擬機的并行計算裝置，其能解決本發明的目的之一。

本發明的目的之三在于提供基于輕量級虛擬機的并行計算系統，其解決現有技術中執行效率低、復雜度高的問題。

本發明的目的之一采用以下技術方案實現：

基于輕量級虛擬機的并行計算方法，包括如下步驟：

S1：接收計算請求并將該計算請求放入任務隊列中，并向控制節點發送查詢請求；所述任務隊列中包含至少一個計算請求，該任務隊列中的所有計算請求按照計算請求的時間的先后順序依次排列；計算請求包括計算數據和代碼；

S2：根據查詢請求查詢所有計算節點的狀態信息；所述狀態信息包括可用于計算和不可用于計算；

S3：根據計算節點的狀態信息將計算數據和代碼發送至可用于計算的計算節點，使所有可用于計算的計算節點對應的輕量級虛擬機同步運行代碼進行計算。

優選的，S1中，計算數據和代碼由用戶輸入。

優選的，S1中，根據任務隊列中排在首位的計算請求向控制節點發送查詢請求。

優選的，所述狀態信息還包括錯誤。