[發明專利]多核機器學習處理器的編制

在審

• 申請號: 202210645102.3
• 申請日: 2022-06-08
• 公開（公告）號: CN115456190A
• 公開（公告）日: 2022-12-09
• 發明（設計）人: M·N·莫迪;K·德薩班;K·S·奇特尼斯;P·K·斯瓦米;K·P·拉韋里;P·S·葉亞迪阿納南塔;S·加干納坦
• 申請（專利權）人: 德克薩斯儀器股份有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06N3/08;G06N3/04
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 徐東升

本申請題為“多核機器學習處理器的編制”。用于執行機器學習(ML)模型的技術包括：接收運行ML模型(504C)的指示；接收用于組織ML模型(504C)關于其他ML模型(504)的運行的同步信息(506)；基于同步信息(506)確定延遲(506C)運行ML模型(504C)；延遲(506C)ML模型(504C)的運行；基于同步信息(506)確定運行ML模型(504C)的時間(CN+1)；以及在該時間(CN+1)運行ML模型(504C)。

背景技術

機器學習(ML)正在成為計算領域中越來越重要的部分。機器學習是人工智能(AI)的分支，并且ML幫助使軟件系統能夠學習從數據中辨識模式，而無需為此直接編程。神經網絡(NN)是一種類型的ML，它利用一組鏈接和分層的函數(例如節點、神經元等)，這些函數被加權來評估輸入數據。在一些NN(有時稱為卷積神經網絡(CNN))中，基于接收到的輸入和權重在NN層中執行卷積操作，而不是在傳統NN中使用的矩陣乘法。CNN中的層可以執行多種類型的函數，包括但不限于卷積、反卷積、池化(pooling)、上采樣等。CNN通常用于廣泛的應用中，通常用于辨識和分類，諸如圖像辨識和分類、預測和推薦系統、語音和語言辨識和翻譯等。

隨著ML變得越來越有用，期望在計算和存儲器資源相對有限的設備(諸如嵌入式設備或其他低功率設備)中有效地執行復雜的ML技術(諸如NN和CNN)。為了幫助有效地運行給定的ML模型，可以分析和優化ML模型以針對要使用的目標硬件資源對如何運行ML模型進行裁剪。

發明內容

本公開涉及用于執行機器學習(ML)模型的技術。該技術包括：接收運行ML模型的指示；接收用于組織ML模型關于其他ML模型的運行的同步信息；基于同步信息確定延遲運行ML模型；延遲ML模型的運行；基于同步信息確定運行ML模型的時間；以及在該時間運行ML模型。

本公開的另一方面涉及一種非暫態程序存儲設備，其包括存儲在其上的指令，以使一個或多個處理器進行以下操作：接收一組ML模型，模擬在目標硬件上運行該組ML模型以確定該組ML模型中的ML模型所需的資源以及時序信息，基于該模擬確定延遲運行該組ML模型中的一個或多個ML模型，以及基于該確定生成同步信息。

本公開的另一方面涉及一種電子設備，其包括存儲器和可操作地耦合到該存儲器的一個或多個處理器，其中該一個或多個處理器被配置為執行指令以使一個或多個處理器進行以下操作：接收運行機器學習(ML)模型的指示；接收用于組織ML模型關于其他ML模型的運行的同步信息；基于同步信息確定延遲運行ML模型；延遲ML模型的運行；基于同步信息確定運行ML模型的時間；以及在該時間運行ML模型。

附圖說明

對于各種示例的詳細描述，現在將參考附圖，其中：

圖1示出根據本公開的一些方面的示例神經網絡ML模型。

圖2是根據本公開的一些方面的包括用于執行ML模型的硬件的設備的框圖。

圖3是根據本公開的一些方面的用于針對目標硬件準備ML模型的過程的框圖。

圖4是示出根據本公開的一些方面的跨計算內核的ML模型執行的時間線。

圖5是示出根據本公開的一些方面的跨計算內核的ML模型執行的時間線。

圖6A-圖6B是示出根據本公開的一些方面的用于協調ML模型執行的上下文信息的表格。

圖7是示出根據本公開的一些方面的漏桶優化方案的流程圖。

圖8是示出根據本公開的一些方面的上下文信息鎖定的框圖。

圖9是根據本公開的一些方面的用于優化ML模型執行的過程的框圖。

圖10是示出根據本公開的一些方面的用于同步ML模型的技術的流程圖。

圖11是示出根據本公開的一些方面的用于同步ML模型的技術的流程圖。