[發明專利]一種基于redis與RDMA技術的調度平臺

有效

• 申請號: 201610199798.6
• 申請日: 2016-04-01
• 公開（公告）號: CN105786624B
• 公開（公告）日: 2019-06-25
• 發明（設計）人: 代振宇
• 申請（專利權）人: 浪潮電子信息產業股份有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 姜明

本發明公開一種基于redis與RDMA技術的調度平臺，屬于數據調度技術領域；本發明的調度平臺設置前處理計算模塊、輔處理計算模塊、主處理調度模塊、主處理計算模塊、輔處理調度模塊，通過模塊之間的相互作用，針對要求傳輸體積較大并且調度速率較高情況，利用注冊本地內存、獲取用戶數據到本地內存、RDMA推送消息到處理調度模塊，處理調度模塊通過redis獲取節點狀態資源等信息、可以依據fifo機制將任務用RDMA推送至空閑節點進行計算。實現高可靠調度計算，用戶可以根據自己的調度流程實現具體方案定制，具有良好的可移植性，實現了大數據分派傳輸的高效調度。

技術領域

本發明公開一種基于redis與RDMA技術的調度平臺，屬于數據調度技術領域。

背景技術

調度平臺是高性能服務器一項重要服務，可以將用戶任務通過調度平臺進行調度，實現高效運算。將任務上報給資源少且空閑的節點進行運算，將結果返回給用戶。當前有很多的調度平臺例如torque，調度策略是按著fifo原則調度，但是對于有些用戶計算體積較大的數據，不僅需要本地計算，還需將計算的大數據包反饋到下一個節點再次計算，分發的情況，若按著現有的調度框架進行數據的調度分派，則在效率上有明顯的不足，不僅出現明顯的網絡延時，同時消息通知也不靈活而顯得力不從心。此外隨著對調度平臺的要求不斷提高，對大數據傳遞接力傳遞在有些領域興起，急需既能用戶定制自己的調度策略，又可以將大數據以最小的延時準確的傳到下一個節點的調度平臺，本發明提供一種調度平臺，針對要求傳輸體積較大并且調度速率較高情況，利用注冊本地內存、獲取用戶數據到本地內存、RDMA推送消息到調度節點與輔處理節點、調度節點通過redis獲取節點狀態資源等信息、依據fifo機制將任務用RDMA推送至空閑節點進行計算。

Redis是一個開源的使用ANSIC語言編寫、支持網絡、可基于內存亦可持久化的日志型、Key-Value數據庫，并提供多種語言的API。redis會周期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎上實現了master-slave(主從)同步。

RDMA(Remote Direct Memory Access)技術全稱遠程直接數據存取。RDMA通過網絡把資料直接傳入計算機的存儲區，將數據從一個系統快速移動到遠程系統存儲器中，而不對操作系統造成任何影響，不需要用到多少計算機的處理功能。它消除了外部存儲器復制和文本交換操作，因而能解放內存帶寬和CPU周期用于改進應用系統性能。

發明內容

本發明針對現有技術中問題，提供一種基于redis與RDMA技術的調度平臺，易于理解，便于維護，并可以添加自己定制的計算過程。適用于對調度速率要求比較高的大數據傳輸。

本發明提出的具體方案是：

一種基于redis與RDMA技術的調度平臺，調度平臺設置前處理計算模塊、輔處理計算模塊、主處理調度模塊、主處理計算模塊、輔處理調度模塊，

前處理計算模塊負責讀取用戶的大數據，將數據放入本地的注冊內存，分發數據包到輔處理計算模塊與主理調度模塊，

輔處理計算模塊利用RDMA讀取前處理計算模塊注冊內存的數據包，根據用戶的計算策略將計算后的數據包存入發送注冊內存，

主處理調度模塊利用RDMA讀取前處理計算模塊注冊內存的數據包，根據用戶的計算策略將計算后的數據包分發給占用資源少，且任務空閑的主處理計算節點進行計算，并且利用RDMA將計算結果讀回，放入發送注冊內存，

主處理計算模塊將自身的信息發布在redis中，將主處理計算節點進行排序，若主處理調度模塊有任務分派，則查找可用主處理計算節點，派發任務，利用RDMA讀取主處理調度模塊的發送注冊內存，將數據讀取到本地注冊內存，根據用戶的計算策略將計算后的數據包發送給主處理調度模塊，