[發明專利]一種分布式多用戶的數據調度方法及系統

在審

• 申請號: 202110778053.6
• 申請日: 2021-07-09
• 公開（公告）號: CN113626161A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 張鵬;唐銘浩;林祥琦
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余功勛

本發明公開一種分布式多用戶的數據調度方法及系統，包括通過解析用戶A1發送的調度數據，獲取用戶B1綁定的工作節點B路由信息，且生成調度任務T_i；將調度任務T_i存儲至對應的任務隊列中；解析各調度任務T_i的路由信息并分類批量執行數據調度任務，以使用戶B1從工作節點B的專有數據隊列中獲取所述調度數據。本發明將不同的用戶分散綁定在分散的數據調度工作節點，對各用戶之間的數據調度，采取異步批量分類執行的策略，并使用管理節點對工作節點進行管理，從而提高了調度的負荷能力、穩定性和可靠性。

技術領域

本發明涉及網路通信領域，尤其涉及一種分布式多用戶的數據調度方法及系統。

背景技術

大數據的分布式調度是數據遷移過程中起到了承上啟下的作用，貫穿數據的生產、交換、消費等過程。調度在計算機任務的實現可以依賴操作系統的定時任務進行觸發，但在業務場景怎么將調度任務有序的運行，保證數據調度的低延時、準確性、可靠性、便捷性以及可監控等特點是非常復雜的問題。分布式調度是在單點調度的基礎上發展起來的，從單點調度到分布式調度是一個質變的過程，擁有很多單點調度不具備的特性，比如調度服務去中心化、彈性擴展、多鏈路調度、多目的端調度。在分布式調度情況下，如何查看每個調度任務狀態以及調度節點狀態是一個重要的問題。并且，在多用戶的業務場景下，如何提供統一的數據調度接口，并滿足用戶調度數據隔離要求也是一個重要的問題。因此，如何設計出滿足上述要求的調度系統及其調度方法是一件非常困難的事情。

發明內容

為了克服現有的困難，本發明提供一種分布式多用戶的數據調度方法及系統，利用節點管理模塊、用戶管理模塊、拓撲更新模塊、鏈路檢測模塊、任務生成模塊、任務執行模塊、任務重發模塊、數據消費模塊、任務監控模塊、任務上報模塊、狀態采集模塊、狀態上報模塊、任務查看模塊、狀態查看模塊、命令下發模塊、命令執行模塊等十六個模塊，實現了數據調度服務去中心化、低延時、可靠性、穩定性、用戶數據隔離、調度任務可方便查看、調度服務工作節點可管理等特性。

本發明的技術方案包括：

一種分布式多用戶的數據調度方法，適用于一管理節點與若干工作節點組成的網絡，管理節點根據各工作節點的信息及用戶信息，分別生成唯一的工作節點路由信息或用戶ID，其步驟包括：

1)工作節點A定期查詢全局拓撲，從管理節點獲取全局拓撲信息；

2)解析用戶A1發送的調度數據，獲取調度數據的數據類型、調度數據體、優先級及用戶B1的用戶ID，并根據用戶B1的用戶ID及全局拓撲信息，獲取用戶B1綁定的工作節點B路由信息；

3)根據生成的數據調度任務ID及用戶B1的用戶ID、工作節點B路由信息、數據類型、調度數據體，生成調度任務T_i，并結合優先級，將該調度任務T_i存儲至對應的任務隊列中，其中i為任務編號；

4)解析各調度任務T_i的路由信息并分類批量執行數據調度任務，以使用戶B1從工作節點B的專有數據隊列中獲取所述調度數據。

進一步地，用戶A1發送調度數據的接口方式包括：HTTP/HTTPS RESTful接口方式。

進一步地，接口URL為：/v1/send_data/{data_type},其中{data_type}代表數據類型；接口HTTP頭部字段包括：USER-AGENT字段、LEVEL字段和DES-USER字段，其中USER-AGENT字段為用戶A1的用戶ID，LEVEL字段為數據的優先級，DES-USER字段為用戶B1的用戶ID；調度數據體存放在http請求體中。

進一步地，數據調度任務ID的生成規則包括：工作節點編號_事件戳_n位隨機數，其中n≥1。

進一步地，若調度數據未成功調度至工作節點B，則執行失敗任務存儲至任務重發隊列中并重新執行，直到任務重發執行成功。