[發明專利]一種采用DQN的FPGA任務調度優化方法及系統

在審

• 申請號: 202110998550.7
• 申請日: 2021-08-27
• 公開（公告）號: CN113641481A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 伍衛國;王今雨;康益菲;馮雅琦;栗怡文
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

本發明公開了一種采用DQN的FPGA任務調度優化方法及系統，定義非均勻分布的FPGA片上可重構資源模型，對CLB，BRAM與DSP資源進行建模，將建模結果作為在線任務的放置芯片載體對在線任務進行特征化表示，使用在線任務可選建模結果作為目標芯片，將在線任務和目標芯片所定義的定長數據作為DQN網絡的輸入數據，采用DQN的獎勵函數作為神經網絡的反饋，以DQN更新價值函數進行更新；使用DQN和最優最長貼合算法對DQN網絡進行聯合訓練；在每一次的調度事件中找到合適的目標芯片以及最優的放置結果，將在線任務和目標芯片輸入訓練好的DQN網絡，選擇獎勵值最高的目標芯片作為對應任務的運行芯片，實現任務調度優化。本發明通過定長輸入的方式，提高了模型可擴展性。

技術領域

本發明屬于電子技術與神經網絡推理計算技術領域，具體涉及一種采用DQN的FPGA任務調度優化方法及系統。

背景技術

相較于專用集成電路(Application Specific Integrated Circuit,ASIC)功能固定，不具備動態重配置片上功能的不足，現場可編程門陣列(Field Programmable GateArray,FPGA)通過運行時動態重燒寫片上資源的方式，實現實時動態重配置芯片功能，達到不斷電在線更新電路的效果，具有高靈活性的特點。因此，FPGA在數據中心加速、軟件定義網絡、大型網絡交換、汽車自動駕駛和物聯網計算等領域有著廣泛的應用。

FPGA芯片上的資源類型與位置固定，設計的電路各模塊(任務)按照布局布線算法放置于不同的芯片位置，占用相應位置的資源，實現各自不同的功能。根據任務數量與規模確定性的不同，運行于FPGA芯片上的任務可分為兩種：

1)離線任務，該類任務的數量與規模在運行前已確定，針對該類型任務的布局布線算法優先考慮資源占用，盡量將任務緊湊放置，因為任務數量在運行前確定，除啟發式算法外，可以選擇更加復雜與耗時的最優化布局布線算法以獲得更優的布局結果，而不用擔心因算法過渡耗時而導致的任務布局布線失敗問題；

2)在線任務，該類任務到來時間未知，因此與離線任務不同的是，該類任務應采用簡單快速的布局布線算法，以免導致在線任務錯過最晚執行時間而導致任務布局布線失敗，進而影響整個電路功能。

同時，隨著應用領域的迅速發展，單一FPGA已不能滿足電路規模需求，多FPGA協同工作已成為主流，如何對FPGA芯片進行片選，設置合理的任務調度策略，將在線任務放置在合適的FPGA芯片上，并且在選定目標芯片后進行合理布局，是NP難問題。

因此，合理的多FPGA在線任務調度策略與片上布局布線算法是減少片上資源浪費，減少任務總耗時的關鍵。

發明內容

本發明所要解決的技術問題在于針對上述現有技術中的不足，提供一種采用DQN的FPGA任務調度優化方法及系統，為每個FPGA在線任務確定合適的調度順序與FPGA片選策略，從而有效提高FPGA資源利用率，減少任務的總耗時。

本發明采用以下技術方案：

一種采用DQN的FPGA任務調度優化方法，其特征在于，定義非均勻分布的FPGA片上可重構資源模型，對CLB，BRAM與DSP資源進行建模，將建模結果作為在線任務的放置芯片載體；

對在線任務進行特征化表示，使用在線任務可選建模結果作為目標芯片，將在線任務和目標芯片所定義的定長數據作為DQN網絡的輸入數據，采用DQN的獎勵函數作為神經網絡的反饋，以DQN更新價值函數作為每一步驟的反饋對獎勵函數進行更新；使用DQN和最優最長貼合算法對DQN網絡進行聯合訓練；

在每一次的調度事件中找到合適的目標芯片以及最優的放置結果，將在線任務和目標芯片輸入訓練好的DQN網絡，選擇獎勵值最高的目標芯片作為對應任務的運行芯片，實現任務調度優化。

具體的，對CLB，BRAM與DSP資源進行建模具體為：