[發明專利]深度神經網絡的硬件實現的端到端數據格式選擇

在審

• 申請號: 201811299435.5
• 申請日: 2018-11-02
• 公開（公告）號: CN110033079A
• 公開（公告）日: 2019-07-19
• 發明（設計）人: 詹姆斯·因貝爾
• 申請（專利權）人: 暢想科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/063
• 代理公司: 北京東方億思知識產權代理有限責任公司 11258
• 代理人: 林強

本公開涉及深度神經網絡的硬件實現的端到端數據格式選擇。用于選擇用于表示輸入至和/或輸出自DNN的層的值的定點數格式的方法，該方法考慮了定點數格式對DNN的上下文中的特定層的影響。方法包括在預定序列中一次針對一個層來選擇用于表示輸入至和/或輸出自該層的多組值的(一個或多個)定點數格式，其中在序列中任何層之前是該層依賴的(一個或多個)層。基于與定點數格式相關聯的DNN的輸出中的誤差來選擇針對每個層的(一個或多個)定點數格式。一旦針對一個層的(一個或多個)定點數格式已經被選擇，則序列中后續層的DNN的輸出中的誤差的任意計算將基于被配置為使用選擇的定點數格式的該層。

技術領域

本公開涉及深度神經網絡的硬件實現的端到端數據格式選擇。

背景技術

深度神經網絡(DNN)是可以用于機器學習應用的一種人工神經網絡。具體地，DNN可以用于信號處理應用，包括圖像處理和計算機視覺應用。

DNN已經在其中功率資源不是重要因素的應用中被實現。盡管如此，DNN還應用于許多不同的技術領域，在這些領域中用于實現DNN的硬件資源的功耗、處理能力或硅面積是有限的。

因此，需要實現被配置為以有效方式(即，以在操作時需要更少硅面積或更少處理能力的方式)實現DNN的硬件。此外，DNN可以以多種不同的方式被配置以用于各種不同的應用。因此，還需要用于實現DNN的硬件能夠靈活地支持各種DNN配置。

以下描述的實施例僅作為示例被提供，并且不限制解決深度神經網絡的已知硬件實現的任意或所有缺點的實現方式。

發明內容

本發明內容被提供介紹將在以下詳細描述中進一步描述的一些概念。本發明內容不旨在標識所要求保護的主題的關鍵特征或必要特征，也不旨在用于限制所要求保護的主題的范圍。

本文描述的是用于確定用于表示輸入至和/或輸出自DNN的層的值的定點數格式的方法，該方法考慮了定點數格式對DNN的上下文中的特定層的影響。方法包括根據預定序列一次針對一個層來選擇用于表示輸入至和/或輸出自該層的多組值的(一個或多個)定點數格式，其中在序列中任何層之前是該層依賴的(一個或多個)層。基于與定點數格式相關聯的DNN的輸出中的誤差來選擇針對每個層的定點數格式。一旦針對一個層的(一個或多個)定點數格式已經被選擇，則針對序列中后續層的DNN的輸出中的誤差的任意計算將基于被配置為使用選擇的定點數格式的該層。換句話說，DNN的輸出中的誤差是基于被配置為使用針對序列中的先前層已經選擇的定點數格式的DNN的。這允許以整體地考慮DNN的行為的方式來選擇定點數格式。

第一方面提供了一種標識用于表示輸入至和/或輸出自深度神經網絡“DNN”的多個層的值的定點數格式以用于配置DNN的硬件實現的計算機實現的方法，該方法包括：確定多個層的序列，其中，多個層中的每個層之前是多個層中該層所依賴的任意層；接收被配置為使用浮點數格式來表示輸入至和/或輸出自DNN的多個層的值的DNN的實例；針對確定的序列中的每個層：選擇用于表示輸入至或輸出自該層的一組或多組值中的每組值的定點數格式，其中，用于表示輸入至或輸出自一個層的一組值的定點數格式被選擇以使得最小化DNN的實例的輸出誤差；以及重新配置DNN的實例以使用針對一組或多組值中的每組值的選擇的定點數格式來表示該組值。