[發(fā)明專利]一種基于令牌桶的動態(tài)批處理任務調度方法及系統(tǒng)在審
| 申請?zhí)枺?/td> | 202310521681.5 | 申請日： | 2023-05-10 |
| 公開（公告）號： | CN116483541A | 公開（公告）日： | 2023-07-25 |
| 發(fā)明（設計）人： | 高洪皓;邱彬洋;王燁;俞鑫鑫;余思 | 申請（專利權）人： | 上海大學 |
| 主分類號： | G06F9/48 | 分類號： | G06F9/48;G06F9/50;G06F9/54;G06N3/084;G06N5/04 |
| 代理公司： | 上?？剖⒅R產權代理有限公司 31225 | 代理人： | 蔡彭君 |
| 地址： | 200444*** | 國省代碼： | 上海;31 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 令牌 動態(tài) 批處理 任務 調度 方法 系統(tǒng) | ||
1.一種基于令牌桶的動態(tài)批處理任務調度方法，其特征在于，支持智能消費電子中DNN推理任務負載平衡優(yōu)化調度問題，包括以下步驟：
S1、接收新請求，在請求管理線程池中提供一個處理線程對所述新請求進行預處理，及對新請求進行編號；
S2、所述新請求被編號后，所述處理線程啟動監(jiān)聽事件，監(jiān)聽響應隊列中的響應編號，若收到新請求對應編號的響應結果，則將該響應結果返回給當前線程的請求方；
S3、將編號后的新請求送到令牌桶動態(tài)批處理模塊處進行組合，組合分批批處理組合；
S4、推理請求發(fā)送模塊將所述批處理組合發(fā)送至推理后端服務器中進行推理計算；
S5、推理計算完成的結果對應回到所述推理請求發(fā)送模塊中進行拆分，拆分的每條響應均擁有和最初請求對應的編號，并將拆分的響應推入響應隊列中；
其中，步驟S3中，所述令牌桶動態(tài)批處理模塊的工作過程包括以下步驟：
S301、初始化令牌桶的大小，并創(chuàng)建一個初始待填充的空批處理組合；
S302、收到請求后為請求編號，同時在相應隊列中注冊監(jiān)聽編號對應的響應；
S303、請求在令牌桶中領取token；
304、判斷此次請求組合批處理組合的行為是否觸發(fā)預設條件，若是，則將批處理組合發(fā)送至推理后端服務器中進行推理計算，并根據令牌桶容量生成新批處理組合；否則繼續(xù)等待下一個請求。
2.根據權利要求1所述的一種基于令牌桶的動態(tài)批處理任務調度方法，其特征在于，步驟S1中，對所述新請求進行預處理包括驗證數據合法性。
3.根據權利要求1所述的一種基于令牌桶的動態(tài)批處理任務調度方法，其特征在于，步驟S303中，請求在令牌桶中領取token時，令牌桶根據添加速率和上一次統(tǒng)計的時間差來計算更新當前令牌桶內的剩余容量，并在令牌桶中減少1個token。
4.根據權利要求3所述的一種基于令牌桶的動態(tài)批處理任務調度方法，其特征在于，所述計算更新當前令牌桶內的剩余容量的計算公式為：
t＝max(0，min(W，n+t′)-1)
式中，ct為當前時間，lt為上一次申請令牌的時間，ut為令牌的添加單位時間，radd為單位時間添加數量，t′為令牌桶更新前的總令牌數，W為令牌桶容量，t為令牌桶更新后的總令牌數。
5.根據權利要求1所述的一種基于令牌桶的動態(tài)批處理任務調度方法，其特征在于，步驟S304中，所述預設條件包括MBS條件及MBT條件；
所述MBS條件的計算公式為：
MBSnow＝MBSpre-t
式中，MBSpre為令牌桶初始容量，MBSnow為當前令牌桶最大容量，t為令牌桶更新后的總令牌數。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于上海大學，未經上海大學許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202310521681.5/1.html，轉載請聲明來源鉆瓜專利網。
