[發明專利]優化神經網絡模型的處理裝置及方法

在審

• 申請號: 202011449723.1
• 申請日: 2020-12-09
• 公開（公告）號: CN112465123A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N5/04
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本發明揭露一種優化神經網絡模型的方法及裝置，先判斷中間算子群是否對數據格式順序敏感；如否，合并始轉置算子與終轉置算子，以形成合并轉置算子。當基于神經網絡模型進行推理時，執行合并轉置算子以取代執行始轉置算子與終轉置算子，從而減少神經網絡中轉置算子的數量，提升網絡的運行時間和減少硬件資源的消耗。

技術領域

本發明一般地涉及神經網絡領域。更具體地，本發明涉及優化神經網絡模型的處理裝置及方法。

背景技術

轉置(transpose)運算是數學和工程領域的常用運算之一，用于對多維數組進行轉置操作。對于多維數組轉置的計算機硬件實現，通常將一部分數據搬運到緩存上，通過在緩存上執行一次或多次讀取和寫入操作來實現多維數組的轉置運算。

轉置算子被廣泛的應用于神經網絡中，特別是應用在數據格式的調整上，由于神經網絡模型中的部分算子對數據格式順序的要求不同，以至于模型中存在大量的轉置算子，將數據轉換成各種的數據格式，這些轉置算子如果不被優化，往往會增加網絡的運行負擔。現有的優化策略只支持特定數據擺放，例如NHWC與NCHW間的轉置優化，而這類優化還是會留下轉置殘留，依舊影響網絡的性能。而針對于非特定數據格式的轉置更是一直缺乏有效的優化方式。

因此，一種針對任何轉置算子的優化是迫切需要的。

發明內容

為了至少部分地解決背景技術中提到的技術問題，本發明的方案提供了一種優化神經網絡模型的處理裝置及方法。

在一個方面中，本發明揭露一種優化神經網絡模型的方法，所述神經網絡模型包括始轉置算子、中間算子群及終轉置算子，中間算子群介于始轉置算子與終轉置算子間。所述方法包括：判斷中間算子群是否對數據格式順序敏感；如否，合并始轉置算子與終轉置算子，以形成合并轉置算子；以及當基于神經網絡模型進行推理時，執行合并轉置算子以取代執行始轉置算子與終轉置算子。

在另一個方面，本發明揭露一種優化神經網絡模型的處理裝置，所述神經網絡模型包括始轉置算子、中間算子群及終轉置算子，中間算子群介于始轉置算子與終轉置算子間。所述處理裝置包括判斷模塊及置換模塊。判斷模塊用以判斷中間算子群是否對數據格式順序敏感；當中間算子群對數據格式順序不敏感時，置換模塊用以合并始轉置算子與終轉置算子，以形成合并轉置算子。當基于神經網絡模型進行推理時，以合并轉置算子取代始轉置算子與終轉置算子。

本發明提出一種基于轉置條件可穿越中間算子的優化方案，以實現對非特定數據擺放的轉置進行優化，從而減少神經網絡中轉置算子的數量，提升網絡的運行時間和減少硬件資源的消耗。

附圖說明

通過參考附圖閱讀下文的詳細描述，本發明示例性實施方式的上述以及其他目的、特征和優點將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發明的若干實施方式，并且相同或對應的標號表示相同或對應的部分其中：

圖1A是示出示例性的三維數組；

圖1B是示出轉換后的三維數組；

圖2是示出本發明實施例的神經網絡模型的片段；

圖3是示出本發明實施例的處理裝置的示意圖；

圖4是示出本發明實施例的始轉置算子與中間算子互換位置的示意圖；

圖5是示出本發明實施例的始轉置算子與中間算子互換位置的示意圖；

圖6是示出本發明實施例的始轉置算子與中間算子互換位置的示意圖；

圖7是示出本發明實施例簡化轉置算子的示意圖；

圖8是示出本發明實施例轉換始轉置算子的輸出數據格式順序的示意圖；

圖9是示出另一個神經網絡模型的片段的示意圖；