[發明專利]一種分布式多用戶的數據調度方法及系統

在審

• 申請號: 202110778053.6
• 申請日: 2021-07-09
• 公開（公告）號: CN113626161A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 張鵬;唐銘浩;林祥琦
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余功勛

1.一種分布式多用戶的數據調度方法，適用于一管理節點與若干工作節點組成的網絡，管理節點根據各工作節點的信息及用戶信息，分別生成唯一的工作節點路由信息或用戶ID，其步驟包括：

1)工作節點A定期查詢全局拓撲，從管理節點獲取全局拓撲信息；

2)解析用戶A1發送的調度數據，獲取調度數據的數據類型、調度數據體、優先級及用戶B1的用戶ID，并根據用戶B1的用戶ID及全局拓撲信息，獲取用戶B1綁定的工作節點B路由信息；

3)根據生成的數據調度任務ID及用戶B1的用戶ID、工作節點B路由信息、數據類型、調度數據體，生成調度任務T_i，并結合優先級，將該調度任務T_i存儲至對應的任務隊列中，其中i為任務編號；

4)解析各調度任務T_i的路由信息并分類批量執行數據調度任務，以使用戶B1從工作節點B的專有數據隊列中獲取所述調度數據。

2.如權利要求1所述的方法，其特征在于，用戶A1發送調度數據的接口方式包括：HTTP/HTTPSRESTful接口方式。

3.如權利要求2所述的方法，其特征在于，接口URL為：/v1/send_data/{data_type},其中{data_type}代表數據類型；接口HTTP頭部字段包括：USER-AGENT字段、LEVEL字段和DES-USER字段，其中USER-AGENT字段為用戶A1的用戶ID，LEVEL字段為數據的優先級，DES-USER字段為用戶B1的用戶ID；調度數據體存放在http請求體中。

4.如權利要求1所述的方法，其特征在于，數據調度任務ID的生成規則包括：工作節點編號_事件戳_n位隨機數，其中n≥1。

5.如權利要求1所述的方法，其特征在于，若調度數據未成功調度至工作節點B，則執行失敗任務存儲至任務重發隊列中并重新執行，直到任務重發執行成功。

6.如權利要求1所述的方法，其特征在于，將數據調度任務的生成過程、數據調度任務的執行過程和/或數據調度任務的重發過程進行記錄，并將所述記錄上報給管理節點。

7.如權利要求1所述的方法，其特征在于，將本工作節點的服務器硬件狀態、業務指標狀態網絡帶寬占用狀態和命令執行狀態上報給管理節點；服務器硬件狀態包括：CPU使用率、內存使用率和磁盤使用率；業務指標狀態包括：任務隊列積壓數量和用戶數據隊列積壓數量；網絡帶寬占用狀態包括：網絡出口流量速度和網絡入口流量速度。

8.如權利要求1所述的方法，其特征在于，工作節點A1立即執行從管理節點獲取到未執行命令指令，并將記錄的命令執行狀態返回管理節點。

9.一種分布式多用戶的數據調度系統，適用于一管理節點與若干工作節點組成的網絡，包括：

節點管理模塊，用以管理節點根據各工作節點的信息，生成唯一的工作節點路由信息；

用戶管理模塊，用以管理節點根據用戶信息，生成唯一的用戶ID；

拓撲更新模塊，用以工作節點A定期查詢全局拓撲，從管理節點獲取全局拓撲信息；

任務生成模塊，用以解析用戶A1發送的調度數據，獲取調度數據的數據類型、調度數據體、優先級及用戶B1的用戶ID，并根據用戶B1的用戶ID及全局拓撲信息，獲取用戶B綁定的工作節點B路由信息；根據生成的數據調度任務ID及用戶B1的用戶ID、工作節點B路由信息、數據類型、調度數據體，生成調度任務T_i，并結合優先級，將該調度任務T_i存儲至對應的任務隊列中，其中i為任務編號；

任務執行模塊，用以解析各調度任務T_i的路由信息并分類批量執行數據調度任務；

數據消費模塊,用以工作節點A將用戶B1的用戶數據隔離存儲在消息中間件中，使用戶B1可從工作節點B1，消費到其他用戶調度給自己的數據。

10.如權利要求9所述的系統，其特征在于，還包括鏈路檢測模塊、任務重發模塊、任務監控模塊、任務上報模塊、狀態采集模塊、狀態上報模塊、任務查看模塊、狀態查看模塊、命令下發模塊、命令執行模塊；其中，

鏈路檢測模塊，用以工作節點A查詢拓撲結構；

任務重發模塊，用以若調度數據未成功調度至工作節點B，則執行失敗任務存儲至任務重發隊列中并重新執行；

任務監控模塊，用以記錄數據調度任務的生成過程、數據調度任務的執行過程和/或數據調度任務的重發過程；

任務上報模塊，用以將數據調度任務的生成過程、數據調度任務的執行過程和/或數據調度任務的重發過程上報給管理節點；

狀態采集模塊，用以采集工作節點的服務器硬件狀態、業務指標狀態、網絡帶寬占用狀態和命令執行狀態，其中服務器硬件狀態包括：CPU使用率、內存使用率和磁盤使用率；業務指標狀態包括：任務隊列積壓數量和用戶數據隊列積壓數量；網絡帶寬占用狀態包括：網絡出口流量速度和網絡入口流量速度；

狀態上報模塊，用以將工作節點的服務器硬件狀態、業務指標狀態和網絡帶寬占用狀態上報給管理節點；

任務查看模塊，用以查看每個數據調度任務的信息、執行進度以及調度數據的消費信息；

狀態查看模塊，用以通過管理節點查看到各工作節點系統資源硬件狀態、業務指標狀態和網絡帶寬占用狀態；

命令下發模塊，用以通過管理節點向指定工作節點下發命令，其中命令包括：系統重啟、緩存數據清理或系統更新；

命令執行模塊，用以工作節點定期從管理節點下載未執行的命令并執行，并將命令執行狀態進行記錄。