[發明專利]分布式批量作業分配方法及裝置

有效

• 申請號: 202010908708.2
• 申請日: 2020-09-02
• 公開（公告）號: CN112035234B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 肖慧閔;杜越;鄭東欣
• 申請（專利權）人: 中國銀行股份有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F18/23213
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 呂俊剛;吳學鋒

本發明提供了一種分布式批量作業分配方法及裝置，涉及計算機技術領域，該方法包括：獲取待分配作業的第一資源偏好數據、多個作業節點的第二資源偏好數據和待分配作業間的依賴關系數據，以每個第二資源偏好數據為聚類中心，對第一資源偏好數據進行K均值聚類處理，得到多個聚類結果，按照待分配作業的個數和依賴關系數據確定每個待分配作業的優先級信息，計算空閑作業節點與聚類結果的相似度值，根據相似度值確定目標聚類結果，根據優先級信息在目標聚類結果中為空閑作業節點分配作業。本發明對待分配作業先進行聚類，再針對每個空閑作業節點進行聚類內的搜索，能夠更快速的找到適合的作業進行分配，實現更高效的分布式批量作業分配。

技術領域

本發明涉及計算機技術領域，尤其是涉及一種分布式批量作業分配方法及裝置。

背景技術

現有銀行個人客戶權益系統，批量框架為分布式多節點的批處理調度方法，主節點進行任務分發，每個子節點并行作業。然而當有多個作業同時等待被處理時，子節點選取作業的方式是隨機選擇一個處理。然而不同節點性能優勢和作業的優先級、資源消耗側重點是有差異的。隨機的方式并不能高效的使用節點資源。

發明內容

本發明提供了一種分布式批量作業分配方法及裝置，可以通過為子節點選擇更合適的作業，提高批量作業的分配效率。

第一方面，本發明實施例提供了一種分布式批量作業分配方法，該方法包括：獲取待分配作業的第一資源偏好數據、多個作業節點的第二資源偏好數據和待分配作業間的依賴關系數據；以每個所述第二資源偏好數據為聚類中心，對所述第一資源偏好數據進行K均值聚類處理，得到多個聚類結果；按照所述待分配作業的個數和所述依賴關系數據確定每個待分配作業的優先級信息；計算空閑作業節點與所述聚類結果的相似度值，根據所述相似度值確定目標聚類結果；根據所述優先級信息在所述目標聚類結果中為所述空閑作業節點分配作業；按照所述待分配作業的個數和所述依賴關系數據確定每個待分配作業的優先級信息，包括：

按照所述待分配作業的個數確定每個待分配作業的初始權重；

根據所述初始權重和所述依賴關系數據確定每個待分配作業的優先級信息；

包括按照如下公式根據所述初始權重和所述依賴關系數據確定每個待分配作業的優先級信息：

其中，n為待分配作業的總個數，w_i為待分配作業的優先級信息，m為被依賴作業的序號，w_j為被依賴作業的優先級信息。

第二方面，本發明實施例還提供一種分布式批量作業分配裝置，該裝置包括：獲取模塊，用于獲取待分配作業的第一資源偏好數據、多個作業節點的第二資源偏好數據和待分配作業間的依賴關系數據；聚類模塊，用于以每個所述第二資源偏好數據為聚類中心，對所述第一資源偏好數據進行K均值聚類處理，得到多個聚類結果；權重模塊，用于按照所述待分配作業的個數和所述依賴關系數據確定每個待分配作業的優先級信息；計算模塊，用于計算空閑作業節點與所述聚類結果的相似度值，根據所述相似度值確定目標聚類結果；分配模塊，用于根據所述優先級信息在所述目標聚類結果中為所述空閑作業節點分配作業；

所述權重模塊，具體用于：

按照所述待分配作業的個數確定每個待分配作業的初始權重；

根據所述初始權重和所述依賴關系數據確定每個待分配作業的優先級信息；

所述權重模塊，具體用于：

按照如下公式根據所述初始權重和所述待分配作業間的依賴關系數據確定每個待分配作業的優先級信息：

其中，n為待分配作業的總個數，w_i為待分配作業的優先級信息，m為被依賴作業的序號，w_j為被依賴作業的優先級信息。