[發明專利]一種限速隊列提交訓練任務的方法和裝置

有效

• 申請號: 202010949625.8
• 申請日: 2020-09-10
• 公開（公告）號: CN112202684B
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 王文瀟
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: H04L47/215
• 分類號: H04L47/215;H04L67/60;G06N3/08;G06F9/54
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 李紅蕭;宋薇薇

本發明公開了一種限速隊列提交訓練任務的方法，包括：監控負載狀態信息，根據負載狀態信息通過訓練好的神經網絡預測模型預測令牌桶限速隊列參數；根據令牌桶限速隊列參數調整令牌桶限速隊列的承載能力；配置訓練任務的任務參數，根據任務參數和承載能力判斷令牌桶限速隊列中是否有充足的剩余空間以放置訓練任務；響應于判斷令牌桶限速隊列中有充足的剩余空間以放置訓練任務，將訓練任務發送至令牌桶限速隊列中；根據承載能力依據訓練任務進入令牌桶限速隊列的時間先后順序依次提交訓練任務。本發明還公開了一種相應的裝置。本發明可以自適應地調整系統中處理任務請求的限速隊列的承載能力，保證系統的平穩運行。

技術領域

本發明涉及計算機技術領域，更具體地，特別是指一種限速隊列提交訓練任務的方法和裝置。

背景技術

目前，隨著神經網絡模型的不斷改進，其精度不斷提高，應用性也逐步增強，AI一詞再度回歸人們的視野。于此同時，AI也為當前一些行業注入新的生機與活力，伴隨著行業的發展，催生了大量深度學習算法工程師。傳統的深度學習訓練方式是許多工程師共用幾臺服務器，在這種模式下必然會造成資源爭搶等問題，極大降低了算法人員的效率。因此，建立一種AI資源管理平臺是很好的解決方案，算法工程師可以在資源管理平臺上自定義深度訓練任務的資源規格大小等，在配置好訓練信息之后，一鍵提交訓練任務到資源管理平臺運行。

在面向少量用戶時，平臺可能有足夠的承載能力去處理用戶的請求，但是當用戶達到一定數量級之后，往往會遇到一些請求高并發問題，沖擊平臺服務，造成系統的不穩定甚至服務所在的服務器宕機。對于這種高并發造成的嚴重問題，AI資源管理平臺需要引進一種限速機制，用來限流來自用戶的請求，既可以保證用戶的使用感受，也可以保證平臺自身服務的穩定性。

發明內容

有鑒于此，本發明實施例的目的在于提供一種自適應動態限速隊列技術，根據不同用戶的活躍時間和時段請求數量，可以自適應地調整系統中處理用戶請求的限速隊列長度，用來控制深度學習訓練平臺并發量，保證服務系統的平穩運行。

基于上述目的，本發明一方面提供了一種限速隊列提交訓練任務的方法，該方法包括：

監控負載狀態信息，根據負載狀態信息通過訓練好的神經網絡預測模型預測令牌桶限速隊列參數；

根據令牌桶限速隊列參數調整令牌桶限速隊列的承載能力；

配置訓練任務的任務參數，根據任務參數和承載能力判斷令牌桶限速隊列中是否有充足的剩余空間以放置訓練任務；

響應于判斷令牌桶限速隊列中有充足的剩余空間以放置訓練任務，將訓練任務發送至令牌桶限速隊列中；

根據承載能力依據訓練任務進入令牌桶限速隊列的時間先后順序依次提交訓練任務。

在本發明的限速隊列提交訓練任務的方法的一些實施方式中，根據承載能力依據訓練任務進入令牌桶限速隊列的時間先后順序依次提交訓練任務還包括：

判斷是否可以獲取令牌；

響應于獲取到令牌，依據訓練任務進入令牌桶限速隊列的時間先后順序依次提交訓練任務。

在本發明的限速隊列提交訓練任務的方法的一些實施方式中，方法還包括：

解析從令牌桶限速隊列中提交的訓練任務，將訓練任務發送至底層服務，并發送信號；

根據信號發送訓練任務的請求成功信息。

在本發明的限速隊列提交訓練任務的方法的一些實施方式中，方法還包括：

響應于根據任務參數和承載能力判斷令牌桶限速隊列中沒有充足的剩余空間以放置訓練任務，發送訓練任務的請求取消信息并刪除訓練任務的請求。