[發(fā)明專(zhuān)利]一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202110384794.6
• 申請(qǐng)日: 2021-04-10
• 公開(kāi)（公告）號(hào): CN113051059B
• 公開(kāi)（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 程童;王巖;呂亞霖;張浩然;閆濱;黃鶴南
• 申請(qǐng)（專(zhuān)利權(quán)）人: 作業(yè)幫教育科技（北京）有限公司
• 主分類(lèi)號(hào): G06F9/48
• 分類(lèi)號(hào): G06F9/48;G06F9/50;G06F9/52
• 代理公司: 北京中聯(lián)智道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11963
• 代理人: 熊蒙

1.一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，其特征在于，包括：

各GPU初始化與顯卡同等數(shù)量的信號(hào)標(biāo)記，信號(hào)標(biāo)記包括任務(wù)鎖lock；

根據(jù)待執(zhí)行任務(wù)的相關(guān)參數(shù)，判斷是否執(zhí)行任務(wù)鎖lock搶占策略；

每個(gè)所述顯卡的信號(hào)標(biāo)記在全局范圍內(nèi)唯一，所述信號(hào)標(biāo)記包括任務(wù)預(yù)計(jì)完成時(shí)間戳fin_time；

所述相關(guān)參數(shù)包括：配置服務(wù)所屬任務(wù)的平均運(yùn)行時(shí)間cost_time及默認(rèn)等待時(shí)間wait_time；

所述的任務(wù)鎖搶占策略包括：根據(jù)各GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time，實(shí)時(shí)返回的當(dāng)前時(shí)間戳變量cur_time以及待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time、默認(rèn)等待時(shí)間wait_time之間的相互關(guān)系判斷是否搶占GPU的任務(wù)鎖；

所述搶占策略設(shè)置為：

判斷待執(zhí)行任務(wù)的默認(rèn)等待時(shí)間wait_time的大小；

當(dāng)待執(zhí)行任務(wù)的默認(rèn)等待時(shí)間wait_time＞0時(shí)，則判斷GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time當(dāng)前時(shí)間戳變量cur_time早晚關(guān)系，以判斷當(dāng)前設(shè)備執(zhí)行任務(wù)的情況，根據(jù)當(dāng)前設(shè)備執(zhí)行任務(wù)的情況，待執(zhí)行任務(wù)進(jìn)行任務(wù)鎖搶占；

所述判斷GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time當(dāng)前時(shí)間戳變量cur_time早晚關(guān)系包括：

若GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time-當(dāng)前時(shí)間戳變量cur_time≤0，則當(dāng)前設(shè)備無(wú)任務(wù)執(zhí)行，搶占該GPU的任務(wù)鎖lock；若GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time-當(dāng)前時(shí)間戳變量cur_time＞0，則進(jìn)一步判斷與待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time；

所述進(jìn)一步判斷與待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time包括：

若GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time-當(dāng)前時(shí)間戳變量cur_time≥待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time，則搶占該GPU的任務(wù)鎖lock；

若GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time-當(dāng)前時(shí)間戳變量cur_time＜待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time，則放棄搶占該GPU的任務(wù)鎖lock。

2.根據(jù)權(quán)利要求1所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，其特征在于，配置服務(wù)所屬任務(wù)的輪詢(xún)時(shí)間try_time，待執(zhí)行任務(wù)放棄搶占GPU的任務(wù)鎖lock之后，等待輪詢(xún)時(shí)間try_time后，再次判斷待執(zhí)行任務(wù)的默認(rèn)等待時(shí)間wait_time的大小。

3.根據(jù)權(quán)利要求1所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，其特征在于，所述的搶占策略還包括：當(dāng)待執(zhí)行任務(wù)的默認(rèn)等待時(shí)間wait_time≤0時(shí)，待執(zhí)行任務(wù)直接搶占GPU的任務(wù)鎖lock；

或者，當(dāng)待執(zhí)行任務(wù)的默認(rèn)等待時(shí)間wait_time≤0時(shí)，待執(zhí)行任務(wù)繞過(guò)任務(wù)鎖lock直接執(zhí)行，由GPU視自己資源情況決定是并行還是串行執(zhí)行。

4.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，其特征在于，待執(zhí)行任務(wù)搶占GPU的任務(wù)鎖lock之后，將搶占時(shí)刻的當(dāng)前時(shí)間戳變量cur_time+待執(zhí)行任務(wù)的平均運(yùn)行時(shí)間cost_time寫(xiě)入被搶占GPU的任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time，用于其它隊(duì)列的任務(wù)判斷是否搶占；然后開(kāi)始執(zhí)行。

5.根據(jù)權(quán)利要求1-3任意一項(xiàng)所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，其特征在于，所述GPU的工作線(xiàn)程結(jié)束運(yùn)算任務(wù)時(shí)，修改任務(wù)預(yù)計(jì)完成時(shí)間戳變量fin_time為運(yùn)算任務(wù)完成時(shí)的當(dāng)前時(shí)間戳cur_time，釋放任務(wù)鎖lock。

6.根據(jù)權(quán)利要求5所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，所述平均運(yùn)行時(shí)間cost_time的獲取方式為：通過(guò)離線(xiàn)測(cè)試獲取，或者，程序啟動(dòng)前設(shè)置默認(rèn)值，程序運(yùn)行后，通過(guò)統(tǒng)計(jì)實(shí)際計(jì)算任務(wù)的平均耗時(shí)動(dòng)態(tài)修改默認(rèn)值；

所述默認(rèn)等待時(shí)間wait_time為預(yù)設(shè)值。

7.根據(jù)權(quán)利要求6所述的一種多GPU的任務(wù)實(shí)時(shí)調(diào)度方法，所述默認(rèn)等待時(shí)間wait_time＜平均運(yùn)行時(shí)間cost_time。