[發明專利]利用黑盒模擬器進行神經網絡處理器設計的方法

有效

• 申請號: 201711034124.1
• 申請日: 2017-10-30
• 公開（公告）號: CN109726805B
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 不公告發明人
• 申請（專利權）人: 上海寒武紀信息科技有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 任巖

本公開提供了一種利用黑盒模擬器進行神經網絡處理器設計的方法，包括：選取至少一組合作為神經網絡模型的輸入，設定至少一處理器設計目標作為神經網絡模型的輸出；根據所述輸入及輸出訓練神經網絡模型；利用訓練后的神經網絡模型對不同的處理器進行預測，確定滿足所述處理器設計目標的處理器。本公開還提供了一種神經網絡處理器及一種芯片。本公開利用黑盒模擬器進行神經網絡處理器設計的方法、神經網絡處理器及芯片，能夠快速有效的從不同設計參數組合和不同精確度的運算器組合中得到滿足給定設計需求的最佳的設計結構。

技術領域

本公開涉及人工智能技術領域，尤其涉及一種利用黑盒模擬器進行神經網絡處理器設計的方法。

背景技術

深度神經網絡是目前許多人工智能應用的基礎，其在語音識別、圖像處理、數據分析、廣告推薦系統、汽車自動駕駛等多方面得到了突破性的應用，使得深度神經網絡被應用在了生活的各個方面。

然而深度神經網絡的運算量巨大，運算時間過長，一直制約著其更快速的發展和更廣泛的應用。于是，很多設計者開始研發針對深度神經網絡的專用處理器。同時，很多深度神經網絡算法被應用在了廣泛的領域，而這些領域對結果的精度要求并不相同，很多無需非常高的精度。所以，在處理器的設計過程中，設計者面臨在各種約束目標(如功耗、面積、可靠性等)下如何使所設計的處理器能夠達到最佳的性能和滿足精度要求的問題。

發明內容

(一)要解決的技術問題

為了解決或者至少部分緩解上述技術問題，本公開提供了一種利用黑盒模擬器進行神經網絡處理器設計空間探索的方法。即，利用某種常用的算法，算法包括卷積神經網絡、支持向量機、決策樹等，來模擬采用不同或相同的精確度運算器(包括精確運算器和/或非精確運算器，例如精確乘法器、精確加法器、非精確乘法器、非精確加法器等)等時神經網絡處理器的性能、準確度等數據，從而能夠快速有效的從不同設計參數組合和不同精確度的運算器組合中得到滿足給定設計需求的最佳的設計結構。

(二)技術方案

根據本公開的一個方面，提供了一種利用黑盒模擬器進行神經網絡處理器設計的方法，包括：選取至少一組合作為神經網絡模型的輸入，設定至少一處理器設計目標作為神經網絡模型的輸出；根據所述輸入及輸出訓練神經網絡模型；以及利用訓練后的神經網絡模型對不同的處理器進行預測，確定滿足所述處理器設計目標的處理器。

在一些實施例中，所述神經網絡處理器設計為非精確神經網絡處理器設計。

在一些實施例中，所述組合包括參數組合和/或運算器組合。

在一些實施例中，所述處理器設計目標包括以下至少其中之一：精度目標、功耗目標、速度目標及面積目標。

在一些實施例中，所述參數組合為處理器的設計參數組合，包括以下至少其中之一：用于片上存儲的規模及位寬、數據傳輸的帶寬及主頻。

在一些實施例中，所述運算器組合包括乘法器和/或加法器的組合。

在一些實施例中，在所述選取至少一組合作為神經網絡模型的輸入的步驟之前，還包括：選定一算法及其配置，并進行初始化。

在一些實施例中，所述配置包括預定誤差閾值、預定迭代次數閾值；所述初始化包括權值、偏移量參數初始化。

在一些實施例中，所述算法包括卷積神經網絡、支持向量機、決策樹。

在一些實施例中，所述根據所述輸入及輸出訓練神經網絡模型的步驟，包括：訓練神經網絡模型，得到預測輸出；計算預測輸出和真實輸出之間的誤差，并與一預定誤差閾值進行比較；若預測輸出和真實輸出之間的誤差小于或等于預定誤差閾值，則結束對神經網絡模型的訓練；否則重復訓練神經網絡模型，直至迭代次數達到一預定迭代次數閾值。