[發明專利]一種基于令牌桶的動態批處理任務調度方法及系統

在審

• 申請號: 202310521681.5
• 申請日: 2023-05-10
• 公開（公告）號: CN116483541A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 高洪皓;邱彬洋;王燁;俞鑫鑫;余思
• 申請（專利權）人: 上海大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54;G06N3/084;G06N5/04
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 蔡彭君

本發明涉及一種基于令牌桶的動態批處理任務調度方法及系統，其中方法包括以下步驟：對每個被接收的請求進行編號；得到編號后立刻在響應隊列中注冊編號對應的監聽事件；在令牌桶中領取token并打包進批處理組合中；打包完成后對該行為進行判斷是否觸發MBS或MBT條件，若觸發則將批處理組合發送至推理端計算，并依據令牌桶的容量生成擁有新大小的批處理組合，否則繼續等待；將推理完成的結果壓入響應隊列中，前面注冊的監聽事件生效，取回對應結果完成響應。與現有技術相比，本發明面對高并發、不斷變化的DNN推理任務，能夠保持吞吐量的同時大幅降低時延，同時增加設備利用率。

技術領域

本發明涉及智能消費電子中DNN推理任務的負載平衡優化調度問題，尤其是涉及一種基于令牌桶的動態批處理任務調度方法及系統。

背景技術

深度學習技術在消費電子產品中有著非常廣泛的應用。面對實際應用，除了需要訓練出更優秀的計算模型，還需要實現高性能的推理能力，例如：問答機器人、實時翻譯、人臉識別等。由于消費電子的計算能力、電源能力、存儲能力限制，如何設計深度學習推理模型的落地部署的架構成為一個很重要的問題，尤其是滿足消費電子場景中對高時效性和高可靠性的要求。

隨著云邊協同計算技術和5G通信技術發展，深度學習算法的推理計算通常將推理工作卸載到云服務器上。而消費電子設備往往承擔基礎的數據收集和計算結果反饋展示等功能。消費電子產品的服務核心是為了人，而人對于消費電子產品的使用需求總是零散并且隨機的，因此突增的高并發情況很常見。另一方面，從統一產品的總體數據上來看，所有的訪問負載又是劇烈變化的。因此，對于需要DNN(Deep?Neural?Network，深度神經網絡)計算的系統來說，面對高并發、不斷變化的負載，如何設計出高效穩定的方案是具有挑戰性的。

雖然購買算力足夠的服務器設備可以解決計算需求，但這很難從業務中精確估計需求量。況且當計算量未知時，購買多少硬件服務器也無法計算。考慮到提供服務的穩定性，系統設計者選擇的設備性能通常在峰值需求附近或高于峰值計算需求。而設備在其余大部分時間中，便一直處于低利用率狀態。為了提高云服務的吞吐量，業界常采用BatchingService的解決方案提高系統并發能力。深度學習算法可以進行并行執行，因此同一個任務的多個獨立請求可以被組合為一個batch的任務，發送到CPU或GPU上進行并行計算后，再將結果對應返回。這將極大地提高系統的吞吐，增加服務的并發能力。但對于每一個請求來說，卻增大了等待時延。因此，需要一種動態的、彈性的資源調度方法解決峰值性能問題。

發明內容

本發明的目的是克服上述現有技術存在的缺陷而提供一種基于令牌桶的動態批處理任務調度方法及系統。

本發明的目的可以通過以下技術方案來實現：

一種基于令牌桶的動態批處理任務調度方法，支持智能消費電子中DNN推理任務負載平衡優化調度問題，包括以下步驟：

S1、接收新請求，在請求管理線程池中提供一個處理線程對所述新請求進行預處理，及對新請求進行編號；

S2、所述新請求被編號后，所述處理線程啟動監聽事件，監聽響應隊列中的響應編號，若收到新請求對應編號的響應結果，則將該響應結果返回給當前線程的請求方；

S3、將編號后的新請求送到令牌桶動態批處理模塊處進行組合，組合分批批處理組合；

S4、推理請求發送模塊將所述批處理組合發送至推理后端服務器中進行推理計算；

S5、推理計算完成的結果對應回到所述推理請求發送模塊中進行拆分，拆分的每條響應均擁有和最初請求對應的編號，并將拆分的響應推入響應隊列中；

其中，步驟S3中，所述令牌桶動態批處理模塊的工作過程包括以下步驟：

S301、初始化令牌桶的大小，并創建一個初始待填充的空批處理組合；