[發明專利]一種任務處理、分配、管理、計算的方法以及裝置

在審

• 申請號: 201611223651.2
• 申請日: 2016-12-27
• 公開（公告）號: CN108241534A
• 公開（公告）日: 2018-07-03
• 發明（設計）人: 李文鵬
• 申請（專利權）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 北京市清華源律師事務所 11441
• 代理人: 沈泳;王永秀

本申請公開了一種任務處理、分配、管理、計算的方法及裝置。其中，所述任務處理方法，包括：全局主節點為每一分組主節點分配任務，并向每一分組主節點反饋分配的任務信息；每一分組主節點根據全局主節點反饋的任務信息，為分組內的從節點分配子任務；從節點計算子任務后，向同分組內的分組主節點反饋基于子任務計算后的計算結果；每一分組主節點將接收到的計算結果向全局主節點進行轉發，并在每次轉發后向全局主節點發送獲取新的任務的請求；全局主節點接收分組主節點發送的獲取新的任務的請求后，為分組主節點分配新的任務，并向分組主節點反饋分配的新的任務信息。采用上述方法降低了節點之間通信的成本，加快了計算效率。

技術領域

本申請涉及計算機技術領域，具體涉及一種任務處理的方法、一種任務分配的方法、一種任務管理的方法以及一種任務計算的方法；本申請同時涉及一種任務處理的裝置、一種任務分配的裝置、一種任務管理的裝置以及一種任務計算的裝置。

背景技術

在機器學習的應用場景中，尤其在信用和金融領域的建模過程中，通常會選擇解釋性較好的線性模型來進行建模，為保證解釋性和模型的穩定性等原因，通常會在大量的特征中選擇對模型貢獻最高的前幾個特征來進行最終的建模，一方面可以精簡模型，提升模型的解釋性和穩定性，另一方面也可以將一些會帶來負面影響的特征從模型中剔除，提升模型的性能。

特征選擇的一種方法是前向特征選擇，前向特征選擇是每次只選擇一個變量，觀察使用一個變量Marginal Contrinution(MC)指標衡量對對模型性能的影響，程序會遍歷所有的變量，選出MC最大的一個變量，此為一輪迭代，下一輪迭代中會在已選中的變量的基礎上，去遍歷剩余的變量并選出該輪迭代中MC最大的變量，以此類推，直到選出N個變量為止。

目前，特征選擇過程是對特征和計算節點進行分組，一組節點處理一組特征。例如：用戶數據中共A,B,C,D,E,F6個特征，計算節點共9個，編號分別為1-9，則將特征分成三個組，每組兩個特征，計算節點也分成三個組，每組3個節點，如，1-3這三個節點并行地處理A,B這兩個特征，每個特征在處理的時候在1-3三臺節點內部做并行。同時，其它節點處理其它特征。

由此可見，特征選擇過程的計算量非常大，每輪迭代中都需要對剩余的所有變量進行一次訓練，對于單機實現或者普通的并行實現很難在大數據的前提下完成選擇任務；并未在特征級別做并行計算，隨著計算節點規模的增大，節點之間通信的成本升高，另外，對特征和計算節點進行分組計算時，當集群中機器的計算效率不一致時，計算速度慢的分組會形成整個集群任務的性能短板，即使其它分組處理速度很快，在處理完成后仍然需要等待速度最慢的分組的處理結果，整個計算任務決定于最慢的計算分組的計算性能，會對計算資源形成極大的浪費。

發明內容

本申請提供一種任務處理的方法、一種任務分配的方法、一種任務管理的方法以及一種任務計算的方法,以解決現有技術中的上述問題。本申請同時涉及一種任務處理的裝置、一種任務分配的裝置、一種任務管理的裝置以及一種任務計算的裝置。

本申請提供的一種任務處理方法，包括；

全局主節點為每一分組主節點分配任務，并向每一分組主節點反饋分配的任務信息；

每一分組主節點根據所述全局主節點反饋的任務信息，為分組內的從節點分配子任務；

所述從節點計算所述子任務后，向同分組內的分組主節點反饋基于所述子任務計算后的計算結果；

每一分組主節點將接收到的所述計算結果向所述全局主節點進行轉發，并在每次轉發后向所述全局主節點發送獲取新的任務的請求；

所述全局主節點接收所述分組主節點發送的獲取新的任務的請求后，為所述分組主節點分配新的任務，并向所述分組主節點反饋分配的新的任務信息。

可選的，所述全局主節點為每一分組主節點分配任務，并向每一分組主節點反饋分配的任務信息，包括：