[發明專利]一種分布式任務調度方法及系統

有效

• 申請號: 201911026996.2
• 申請日: 2019-10-26
• 公開（公告）號: CN110750349B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉昊松;徐輝;姚懿丹;羅躍軍
• 申請（專利權）人: 武漢中海庭數據技術有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50
• 代理公司: 武漢藍寶石專利代理事務所(特殊普通合伙) 42242
• 代理人: 王振宇

本發明涉及一種分布式任務調度方法及系統，屬于計算機技術領域。該系統包括:接收到客戶端業務處理請求后，基于文件傳輸協議將預處理數據分發至對應的節點服務器；根據節點服務器分配的處理任務，創建redis指令放入消息隊列中；當節點服務器輪詢監測到對應redis指令，讀取所述redis指令中的寫入參數，并根據所述參數，調起預處理數據的任務處理進程。通過該方案可以高效調度服務端任務分配，提高服務器數據處理效率。

技術領域

本發明涉及計算機技術領域，尤其涉及一種分布式任務調度系統及方法。

背景技術

隨著互聯網技術的快速發展，網絡數據量激增，對于服務器端數據處理提出了更高的要求。服務器接收到高并發的數據請求，為降低時延避免阻塞，通常服務端會增加服務器數量或升級硬件，當普通的單機作業已越來越滿足要求。

目前，為提高服務器數據處理恩能夠，常需要多個服務器協同處理，一般會直接將數據處理任務分發至對應的服務器，子服務器解析數據并對數據進行處理。然而，這種將任務執行參數與處理數據一同分發，或將處理數據分發至專門的服務器，針對大量級的同類處理任務，服務器的調度處理效率較低。

發明內容

有鑒于此，本發明實施例提供了一種分布式任務調度方法，可以提高服務端數據處理效率，提升業務處理能力。

在本發明實施例的第一方面，提供了一種分布式任務調度方法，包括：

接收到客戶端業務處理請求后，基于文件傳輸協議將預處理數據分發至對應的節點服務器；

根據節點服務器分配的處理任務，創建redis指令放入消息隊列中；

當節點服務器輪詢監測到對應redis指令，讀取所述redis指令中的寫入參數，并根據所述參數，調起預處理數據的任務處理進程。

在本發明實施例的第二方面，提供了一種分布式任務調度系統，包括：

分發模塊，用于接收到客戶端業務處理請求后，基于文件傳輸協議將預處理數據分發至對應的節點服務器；

創建模塊，用于根據節點服務器分配的處理任務，創建redis指令放入消息隊列中；

執行模塊，用于當節點服務器輪詢監測到對應redis指令，讀取所述redis指令中的寫入參數，并根據所述參數，調起預處理數據的任務處理進程。

本發明實施例中，首先將預處理數據分發至節點服務器，再根據節點服務器分配的任務，通過創建redis指令放入消息隊列，節點服務器輪詢訂閱，調起任務執行進程，可以實現通過redis指令控制節點中任務的執行，避免處理數據與執行指令一同分發或反饋時對網絡通路的大量占用，提高數據傳輸分發效率，并能提高服務器的任務處理效率，降低主服務器或特定服務器的數據處理壓力，避免數據阻塞，提升服務端數據并發處理能力。

附圖說明

圖1為本發明實施例一提供的一種分布式任務調度方法的流程示意圖；

圖2為本發明實施例二提供的一種分布式任務調度系統的結構示意圖。

具體實施方式

本發明實施例提供了一種分布式任務調度方法及系統，用于調用任務請求，提高服務器數據處理效率。

為使得本發明的發明目的、特征、優點能夠更加的明顯和易懂，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，下面所描述的實施例僅僅是本發明一部分實施例，而非全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其它實施例，都屬于本發明保護的范圍。

實施例一：