[發明專利]一種基于昇騰AI處理器的跨步切片算子處理方法及裝置

有效

• 申請號: 202110990045.8
• 申請日: 2021-08-26
• 公開（公告）號: CN113722269B
• 公開（公告）日: 2023-01-24
• 發明（設計）人: 龍汀汀;樊春;董昊森;馬銀萍
• 申請（專利權）人: 北京大學
• 主分類號: G06F15/80
• 分類號: G06F15/80
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本申請公開了一種基于昇騰AI處理器的跨步切片算子處理方法及裝置。其中，該方法包括：獲取跨步切片算子的輸入張量和待提取切片的下標；基于所述待提取切片的下標確定所述待提取切片在所述輸入張量中的起始下標和長度；利用所述起始下標和所述長度從所述輸入張量中確定待搬運的數據；通過昇騰AI處理器的輸出緩沖區將所述待搬運的數據搬運至輸出張量。本申請解決了跨步切片算子處理速度低的技術問題。

技術領域

本申請涉及人工智能領域，具體而言，涉及一種基于昇騰AI處理器的跨步切片算子處理方法及裝置。

背景技術

跨步切片(StridedSlice)算子是人工智能(Artificial Intelligence，AI)計算中用于提取張量中切片的計算單元，可以基于張量虛擬機(Tensor Virtual Machine，TVM)和張量迭代器內核(Tensor Iterator Kernel，TIK)這兩種算子開發方式實現。

現有方案中，基于TVM開發方式實現的StridedSlice算子在獲得張量中特定維度下特定索引對應的切片時，無法充分發揮AI處理器的性能優勢，處理耗時較長，存在跨步切片算子處理速度低的技術問題。

針對上述的問題，目前尚未提出有效的解決方案。

發明內容

本申請實施例提供了一種基于昇騰AI處理器的跨步切片算子處理方法及裝置，以至少解決跨步切片算子處理速度低的技術問題。

根據本申請實施例的第一方面，提供了一種基于昇騰AI處理器的跨步切片算子處理方法，包括：獲取跨步切片算子的輸入張量和待提取切片的下標；基于所述待提取切片的下標確定所述待提取切片在所述輸入張量中的起始下標和長度；利用所述起始下標和所述長度從所述輸入張量中確定待搬運的數據；通過昇騰AI處理器的輸出緩沖區將所述待搬運的數據搬運至輸出張量。

基于上述第一方面提供的基于昇騰AI處理器的跨步切片算子處理方法，可以充分發揮AI處理器的性能優勢，有效減少跨步切片算子的處理耗時，大幅度提升跨步切片算子的處理速度。

可選地，基于待提取切片的下標確定待提取切片的長度包括：確定輸入張量的形狀；基于輸入張量的形狀和待提取切片的下標獲取輸入張量中未被待提取切片的下標覆蓋的維度的權重；將獲取到的權重確定為待提取切片的長度。

可選地，基于待提取切片的下標確定待提取切片在輸入張量中的起始下標包括：對起始下標進行初始化處理，得到起始下標的初始值；確定輸入張量的形狀；基于輸入張量的形狀和待提取切片的下標獲取輸入張量中已被待提取切片的下標覆蓋的每個維度對應的坐標值和權重；利用初始值以及輸入張量中已被待提取切片的下標覆蓋的每個維度對應的坐標值和權重，計算得到起始下標。

可選地，通過昇騰AI處理器的輸出緩沖區將待搬運的數據搬運至輸出張量包括：調用張量加速引擎平臺中的預設應用程序接口，獲取昇騰AI處理器的計算核心數量；基于長度和計算核心數量，通過輸出緩沖區將待搬運的數據搬運至輸出張量。

可選地，基于長度和計算核心數量，通過輸出緩沖區將待搬運的數據搬運至輸出張量包括：基于長度和昇騰AI處理器中數據搬運最小單位，將長度轉換為數據搬運最小單位對應的數據塊的初始數量；對初始數量進行向下取整，得到數據塊的目標數量；按照目標數量，通過輸出緩沖區將待搬運的數據搬運至輸出張量。

可選地，按照目標數量，通過輸出緩沖區將待搬運的數據搬運至輸出張量包括：當目標數量為0時，使用昇騰AI處理器中單個計算核心對待搬運的數據進行搬運；在對待搬運的數據進行搬運的過程中，利用輸出緩沖區對待搬運的數據進行中轉并搬運至輸出張量。