[發明專利]加速卡運行時系統及調度方法

在審

• 申請號: 202210185466.8
• 申請日: 2022-02-28
• 公開（公告）號: CN114398186A
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 孫茹君;趙玉龍;張魯飛;王宇;李祥
• 申請（專利權）人: 無錫江南計算技術研究所
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48
• 代理公司: 蘇州創元專利商標事務所有限公司 32103
• 代理人: 王健

1.一種運行時系統，其特征在于，面向主機插入加速卡設備，由配置有驅動層、運行時層的主機端和配置有資源管理模塊、調度模塊的設備端構成；

主機端的運行時層，由設備抽象、內存抽象、流抽象和執行器抽象組成，用于支撐主機端運行時層的調度模塊，并對外提供運行時接口；

主機端運行時層的調度模塊，維護若干個用以支持任務分發的流隊列；

主機端的驅動層，用于執行設備參數獲取、ipc操作、內存管理，事件管理、計時管理、同步管理，還用于對外提供驅動接口；

設備端的資源管理模塊，用于管理加速卡設備上的功能部件，包括：多樣的計算單元，存儲單元等；資源管理模塊能夠查看、統計加速卡設備上各個部件的運行狀態，并反饋給設備上的調度模塊；

設備端的調度模塊，用于接收來自資源管理模塊的信息和主機端運行時層的調度模塊流隊列中的任務，并根據設備端的狀態決策調度。

2.一種加速卡運行時系統的調度方法，其特征在于：基于權利要求1所述的加速卡運行時系統，包括以下步驟：

步驟1、運行時主機端的調度模塊根據資源需求信息將任務發送至相應的運行時流隊列中，并根據設備狀態調度任務；

步驟2、任務執行過程中，設備端的資源管理模塊實時向主機端反饋設備信息供決策；

步驟3、設備端的調度模塊根據需要向主機端對應的運行時流隊列提出任務請求；

步驟4、主機端的調度模塊接收到設備端的任務請求后，根據請求種類將對應流隊列中的第一個任務發送至設備端，并根據任務執行情況適時移出隊列中的這個任務；

步驟5、當設備端接收到任務時，根據任務的信息決策任務的執行部件，并向后者調度任務。

3.根據權利要求1所述的運行時系統，其特征在于：所述運行時接口包括：事件接口、設備接口、內存接口、流接口、執行接口。

4.根據權利要求1所述的運行時系統，其特征在于：所述驅動接口包括：內存操作接口，事件操作接口，計時操作接口，同步操作接口。

5.根據權利要求1所述的運行時系統，其特征在于：所述功能部件包括：至少一種計算單元和存儲單元。