[發明專利]基于硬件加速器的張量處理方法和系統

有效

• 申請號: 202110458267.5
• 申請日: 2021-04-27
• 公開（公告）號: CN113159295B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 李國亮;李銳;張磊;楊勤富;錢軍
• 申請（專利權）人: 瀚博半導體（上海）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N3/08
• 代理公司: 上海市金茂律師事務所 31299
• 代理人: 王翠平;彭世明

本申請提供基于硬件加速器的張量處理方法和系統，該方法包括：確定待處理的張量中第一輸入區域的起始邊界坐標；基于所述硬件加速器的工作參數信息，確定所述第一輸入區域的終點邊界坐標；以及通過所述硬件加速器對所述第一輸入區域執行預定處理，以獲得所述第一輸入區域所對應的第一輸出區域。本申請對張量的處理能夠突破硬件限制，且計算量小、處理速度快；并且，本申請能盡可能減少對大尺寸張量的切分，最大化計算資源和帶寬的利用率。

技術領域

本申請涉及計算機信息處理領域，尤其涉及基于硬件加速器的張量處理技術。

背景技術

近幾年來，計算機系統處理能力取得了巨大發展。在某些情況下(例如處理深度學習神經網絡時)，會涉及二維或更高維張量的卷積計算。以二維張量為例，在實際計算時，二維張量的某些參數有時可能會超出硬件加速器的相關限制，例如張量的高度或寬度可能超出加速器的相應限制，或者加速器對片上內存、可用的計算資源等可能會進行限制。這些限制都制約了對大尺寸張量的處理。

發明內容

本申請的一個目的是提供一種基于硬件加速器的張量處理方法和張量處理系統。

根據本申請的一個方面，本申請提供了一種基于硬件加速器的張量處理方法。在一些實施例中，該方法包括以下步驟：

確定待處理的張量中第一輸入區域的起始邊界坐標；

基于所述硬件加速器的工作參數信息，確定所述第一輸入區域的終點邊界坐標；以及，

通過所述硬件加速器對所述第一輸入區域執行預定處理，以獲得所述第一輸入區域所對應的第一輸出區域。

根據本申請的另一個方面，本申請提供了一種張量處理系統，其中，該系統至少包括：

輸入區域確定裝置，用于確定待處理的張量中的輸入區域，其中所述輸入區域確定裝置被配置為：

確定待處理的張量中第一輸入區域的起始邊界坐標；以及

基于所述硬件加速器的工作參數信息，確定所述第一輸入區域的終點邊界坐標；

該系統還包括區域處理裝置，用于獲得所述第一輸入區域對應的第一輸出區域，其中所述區域處理裝置被配置為：

通過所述硬件加速器對所述第一輸入區域執行預定處理，以獲得所述第一輸入區域所對應的第一輸出區域。

根據本申請的另一個方面，本申請還提供了一種計算機可讀存儲介質，該計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被執行時能夠實現上述方法的操作。

根據本申請的另一個方面，本申請還提供了一種電子設備，該電子設備包括一個或多個處理器，還包括用于存儲可執行指令的存儲器，所述一個或多個處理器被配置為經由所述可執行指令來實現上述方法的操作。

本申請針對大尺寸張量中的部分輸入區域進行處理，具體而言，該部分輸入區域是根據硬件加速器的相關參數信息而確定的；在對該部分輸入區域進行相應處理后，該部分輸入區域所對應的輸出區域即可用于后續處理，例如拼合為對原大尺寸張量進行處理后所對應的輸出區域。雖然目前廣泛應用的切分卷積核的處理方式也能解決上述問題，但是這種處理方式需要相應切分輸入張量，即對應卷積核的每一塊，先得到對應整個卷積核的部分和，最后還需要進一步將部分和進行累加，因此增加了較多的硬件資源消耗。與現有技術相比，一方面，本申請對張量的處理能夠突破硬件方面的限制，且計算量小，處理速度快；另一方面，基于本申請，一次處理的部分區域的大小是根據硬件加速器的處理能力而確定的，能盡可能減少對大尺寸張量的切分，因此上述處理方式又可以最大化計算資源和帶寬的利用率。

附圖說明

通過閱讀參照以下附圖所作的對非限制性實施例所作的詳細描述，本申請的其它特征、目的和優點將會變得更明顯：