[發(fā)明專(zhuān)利]多核機(jī)器學(xué)習(xí)處理器的編制

在審

• 申請(qǐng)?zhí)枺?/td>: 202210645102.3
• 申請(qǐng)日: 2022-06-08
• 公開(kāi)（公告）號(hào): CN115456190A
• 公開(kāi)（公告）日: 2022-12-09
• 發(fā)明（設(shè)計(jì)）人: M·N·莫迪;K·德薩班;K·S·奇特尼斯;P·K·斯瓦米;K·P·拉韋里;P·S·葉亞迪阿納南塔;S·加干納坦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 德克薩斯儀器股份有限公司
• 主分類(lèi)號(hào): G06N20/00
• 分類(lèi)號(hào): G06N20/00;G06N3/08;G06N3/04
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司 11245
• 代理人: 徐東升

1.一種方法，包括：

接收運(yùn)行第一機(jī)器學(xué)習(xí)模型即第一ML模型的指示；

接收用于組織所述第一ML模型相對(duì)于第二ML模型的運(yùn)行的同步信息；

基于所述同步信息確定運(yùn)行所述第一ML模型的時(shí)間；以及

在所述時(shí)間運(yùn)行所述第一ML模型。

2.根據(jù)權(quán)利要求1所述的方法，其中所述同步信息包括所述第一ML模型和內(nèi)核的時(shí)序信息和相關(guān)聯(lián)的指示。

3.根據(jù)權(quán)利要求1所述的方法，其中在所述時(shí)間運(yùn)行所述第一ML模型包括在開(kāi)始運(yùn)行所述ML模型之前插入延遲。

4.根據(jù)權(quán)利要求3所述的方法，其中所述延遲基于回調(diào)函數(shù)或并行線程。

5.根據(jù)權(quán)利要求1所述的方法，其中確定運(yùn)行所述第一ML模型的所述時(shí)間包括確定是否在所述ML模型的層之間插入延遲。

6.根據(jù)權(quán)利要求1所述的方法，其中確定運(yùn)行所述ML模型的所述時(shí)間包括確定運(yùn)行所述ML模型的預(yù)期時(shí)間與當(dāng)前時(shí)間之間的差異；并且其中所述方法包括基于所述差異開(kāi)始運(yùn)行所述ML模型。

7.根據(jù)權(quán)利要求6所述的方法，還包括基于所述差異調(diào)整運(yùn)行所述ML模型的下一個(gè)預(yù)期時(shí)間。

8.根據(jù)權(quán)利要求6所述的方法，其中確定運(yùn)行所述第一ML模型的所述時(shí)間還包括基于所述差異移除運(yùn)行所述ML模型的所述延遲。

9.一種非暫態(tài)程序存儲(chǔ)設(shè)備，其包括存儲(chǔ)在其上的指令，所述指令使得一個(gè)或多個(gè)處理器進(jìn)行以下操作：

接收一組ML模型；

模擬在目標(biāo)硬件上運(yùn)行所述一組ML模型以確定運(yùn)行所述一組ML模型中的ML模型所使用的資源以及時(shí)序信息；

基于所述模擬確定延遲運(yùn)行所述一組ML模型的子集；以及

基于所述確定生成同步信息。

10.根據(jù)權(quán)利要求9所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中所述目標(biāo)硬件包括用于執(zhí)行ML模型的至少兩個(gè)內(nèi)核，并且其中所述同步信息包括用于跨所述至少兩個(gè)內(nèi)核協(xié)調(diào)所述ML模型的執(zhí)行的時(shí)序信息。

11.根據(jù)權(quán)利要求10所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中所述同步信息包括ML模型、所述ML模型和所述目標(biāo)硬件的內(nèi)核的時(shí)序信息和相關(guān)聯(lián)的指示。

12.根據(jù)權(quán)利要求10所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中所述同步信息被組織在查找表中。

13.根據(jù)權(quán)利要求9所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中延遲運(yùn)行所述ML模型包括在開(kāi)始運(yùn)行所述ML模型之前插入延遲。

14.根據(jù)權(quán)利要求9所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中延遲運(yùn)行所述ML模型包括在所述ML模型的層之間插入延遲。

15.根據(jù)權(quán)利要求9所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中基于一個(gè)或多個(gè)成本函數(shù)來(lái)確定延遲運(yùn)行一個(gè)或多個(gè)ML模型。

16.根據(jù)權(quán)利要求15所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中所述一個(gè)或多個(gè)成本函數(shù)中的成本函數(shù)基于存儲(chǔ)器帶寬、消耗的功率量和可用存儲(chǔ)器的大小中的至少一個(gè)。

17.根據(jù)權(quán)利要求15所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中所述一個(gè)或多個(gè)成本函數(shù)中的成本函數(shù)基于添加到所述ML模型的延遲量。

18.根據(jù)權(quán)利要求9所述的非暫態(tài)程序存儲(chǔ)設(shè)備，其中模擬在所述目標(biāo)硬件上運(yùn)行所述一組ML模型包括至少確定在所述目標(biāo)硬件上執(zhí)行所述一組ML模型時(shí)使用的存儲(chǔ)器帶寬量、功率和存儲(chǔ)器大小。