[發明專利]優化神經網絡模型中原始維度算子的裝置和方法

在審

• 申請號: 202011449721.2
• 申請日: 2020-12-09
• 公開（公告）號: CN112465122A
• 公開（公告）日: 2021-03-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 安徽寒武紀信息科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063;G06N5/04
• 代理公司: 北京維昊知識產權代理事務所(普通合伙) 11804
• 代理人: 李波;孫新國

本發明涉及優化神經網絡模型中原始維度算子的裝置和方法，遍歷神經網絡模型，以識別神經網絡模型的關鍵節點，在關鍵節點處置入成對維度算子，結合成對維度算子其中之一與原始維度算子，最后基于結合后的神經網絡模型進行推理。本發明從關鍵節點出發減少神經網絡中維度算子的數量，以提升網絡的運行時間和減少硬件資源的消耗。

技術領域

本發明一般地涉及神經網絡領域。更具體地，本發明涉及優化神經網絡模型中原始維度算子的裝置和方法。

背景技術

在深度神經網絡的領域中，轉置算子(transpose)和變形算子(reshape)被廣泛的應用在數據重組和適應底層軟件棧數據擺放格式。

以在GPU上計算為例，具有NCHW格式的特征圖較具有NHWC格式的特征圖更快。為了獲得更好的性能，當數據擺放是NHWC時，通常會在對維度排列敏感的算子前置入轉置算子，將維度排列轉換為NCHW，如果再遇到與通道運算相關的算子時，又需要將數據擺放還原再進行運算，顯然由于每個算子適合的維度擺放方式不同，導致神經網絡模型中頻繁置入轉置算子以進行格式轉換。

在處理圖像數據的時候，經常遇到輸入圖像的維數與算子的輸入維度不符合的情況，這時需要變形算子來調整輸入圖像的維度數量。由于每個算子可接受的維度數量不一定相同，導致神經網絡模型中頻繁置入變形算子以調整維度數量。

當神經網絡模型中存在許多轉置和變形算子時，會使得網絡運行時間過長。現有的優化方案只企圖優化特定算子前后的轉置和變形算子，無法改善位于分支節點、合并節點以及輸入/輸出端的轉置和變形算子。

因此，一種優化維度算子的方案是迫切需要的。

發明內容

為了至少部分地解決背景技術中提到的技術問題，本發明的方案提供了一種優化神經網絡模型中原始維度算子的裝置和方法。

在一個方面中，本發明揭露一種優化神經網絡模型中原始維度算子的方法，包括遍歷所述神經網絡模型，以：識別所述神經網絡模型的關鍵節點；在所述關鍵節點處置入成對維度算子；結合所述成對維度算子其中之一與所述原始維度算子；以及基于結合后的所述神經網絡模型進行推理。

在另一個方面，本發明揭露一種優化神經網絡模型中原始維度算子的處理裝置，包括識別模塊、置入模塊及結合模塊。識別模塊用以識別所述神經網絡模型的關鍵節點；置入模塊用以在所述關鍵節點處置入成對維度算子；結合模塊用以結合所述成對維度算子其中之一與所述原始維度算子。

本發明試著從關鍵節點減少神經網絡中維度算子的數量，并基于結合后的神經網絡模型進行推理，以提升網絡的運行時間和減少硬件資源的消耗。

附圖說明

通過參考附圖閱讀下文的詳細描述，本發明示例性實施方式的上述以及其他目的、特征和優點將變得易于理解。在附圖中，以示例性而非限制性的方式示出了本發明的若干實施方式，并且相同或對應的標號表示相同或對應的部分其中：

圖1A是示出示例性的三維數組；

圖1B是示出轉換后的三維數組；

圖2是示出變形后的三維矩陣的示意圖；

圖3是示出本發明實施例的處理裝置的示意圖；

圖4是示出本發明實施例的待優化的神經網絡模型的示意圖；

圖5是示出本發明另一實施例的待優化的神經網絡模型的示意圖；

圖6是示出本發明另一實施例的待優化的神經網絡模型的示意圖；

圖7是示出本發明另一實施例的待優化的神經網絡模型的示意圖；以及

圖8是示出本發明另一實施例優化神經網絡模型中原始維度算子的流程圖。

具體實施方式