[發明專利]一種基于消息的分布式任務分發調度方法及裝置

有效

• 申請號: 201911196296.8
• 申請日: 2019-11-29
• 公開（公告）號: CN110659123B
• 公開（公告）日: 2020-03-20
• 發明（設計）人: 施凡;李陽;寧劍;王巖;李振漢;胡淼
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 中國和平利用軍工技術協會專利中心 11215
• 代理人: 劉光德;彭霜

1.一種基于消息的分布式任務分發調度方法，其特征在于所述方法包括下述步驟：

步驟1：獲得任務的整體屬性值，根據所述整體屬性值確定出該任務的類別，由探測插件探測基于該任務的類別獲取所述任務的各項屬性及對應的屬性值，提取該任務、該任務所屬類別的歷史任務的屬性及屬性值的特征，以獲得該任務、以及該類別的各歷史任務的特征向量表示；基于劃分子任務的方式的不同，將該類別的各歷史任務劃分為至少一個子類；比較該任務的特征向量與各子類中的歷史任務的特征向量均值的偏差，確定與該任務的特征向量偏差值最小的子類；再將該偏差值與預設的關聯度閾值進行比較，若該偏差值小于或等于預設的關聯度閾值，則該任務從屬于該偏差值最小的子類；獲取該任務從屬的子類，依據該子類中的歷史任務的劃分子任務方式，對該任務進行任務分割，即將所述任務分割成多個原子任務，并將該任務標記為歷史任務；若該偏差值大于預設的關聯度閾值，新建一子類，并將該任務添加到新建子類中，對該任務進行語義分析，并根據語義分析的結果，劃分該任務的各子任務，即將所述任務分割成多個原子任務，并將該任務標記為歷史任務；

步驟2：任務分割為多個原子任務與原子任務分發調度同步進行；消息服務器與多個工作節點之間建立消息隊列；將任務優先級設置為三個等級，所述消息服務器依據任務優先級，為每個等級的任務設置不同的分發速率閾值，通過所述消息隊列將優先級高的任務優先分發至工作節點，由工作節點執行對應的所述原子任務；

步驟3：根據所述原子任務的執行情況，對其中執行失敗的原子任務予以有限次數的分發重試。

2.如權利要求1所述的方法，其特征在于所述類別至少包括以下一種：統一資源定位符URL類、站點類、互聯網協議地址IP類。

3.如權利要求2所述的方法，其特征在于：

所述URL類包括屬性：url、method、data、referrer和html，其中，url屬性標識網址地址，method屬性標識訪問網址所采用的HTTP方法，data屬性標識網址輸入參數，referrer屬性標識訪問報文中的推薦人字段，html屬性標識網址返回的html數據；

所述站點類包括屬性：host、host_main、ip、port、header、html、title、html_encode和metadata，其中，host屬性標識站點域名，host_main屬性標識站點主域名，ip屬性標識站點IP地址，port屬性標識站點服務端口，header屬性標識站點訪問報文header頭信息，title屬性標識站點標題，html_encode屬性標識站點html文檔編碼，metadata屬性標識站點html文檔元數據；

所述IP類包括屬性：ip和ip_info，其中，ip屬性標識IP地址，ip_info屬性標識IP地址地理位置信息。

4.如權利要求3所述的方法，其特征在于所述類別還可基于所述屬性的組合予以定制。

5.如權利要求3所述的方法，其特征在于分配給所述多個工作節點包括下述步驟：

步驟2.1：判斷是否存在空閑的工作節點；如存在，則從所述多個原子任務中選擇至少一個分配給所述空閑的工作節點；

步驟2.2：判斷是否存在負載低于特定閾值的工作節點，如存在，則從所述多個原子任務中選擇至少一個分配給任務量負載低于特定閾值的工作節點；

步驟2.3：判斷所述多個原子任務是否分配完畢，如沒有分配完畢，則轉步驟2.1，否則退出所述分配的操作。

6.如權利要求5所述的方法，其特征在于判斷是否存在任務量負載低于特定閾值的工作節點包括下述步驟：

探測所述工作節點上的插件消耗的資源；

探測所述工作節點持有的資源；

根據所述探測的插件消耗的資源和所述持有的資源計算所述工作節點的負載，

將所述負載與特定閾值相比較，確定所述工作節點的任務量負載是否低于特定閾值。