[發明專利]用于定點神經網絡的位寬選擇

在審

• 申請號: 202110936027.1
• 申請日: 2016-04-11
• 公開（公告）號: CN113487021A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: D·林;V·S·R·安納普萊蒂;D·J·朱利安;C·M·維任斯基
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06N3/063
• 分類號: G06N3/063;G06N3/08;G06N3/10;G06F17/11
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 楊麗;陳煒

本申請涉及用于定點神經網絡的位寬選擇。一種用于選擇定點機器學習模型的位寬的方法包括評估該模型的每個計算級處的模型準確度對于位寬的敏感度。該方法還包括選擇該模型的計算級中的參數和/或中間計算的位寬。該參數的位寬和該中間計算的位寬可以是不同的。所選擇的位寬可以基于敏感度評估來確定。

本申請是申請日為2016年4月11日、國際申請日為“PCT/US2016/026944”、申請日為“201680026249.7”、發明名稱為“用于定點神經網絡的位寬選擇”的申請的分案申請。

相關申請的交叉引用

本申請要求于2015年5月8日提交的題為“BIT WIDTH SELECTION FOR FIXEDPOINT NEURAL NETWORKS(用于定點神經網絡的位寬選擇)”的美國臨時專利申請No.62/159,097的權益，其公開內容通過援引全部明確納入于此。

技術領域

本公開的某些方面一般涉及機器學習，并且尤其涉及改進用于定點機器學習模型(諸如人工神經網絡)的位寬選擇的系統和方法。

背景技術

可包括一群互連的人工神經元(例如，神經元模型)的人工神經網絡是一種計算設備或者表示將由計算設備執行的方法。

卷積神經網絡是一種前饋人工神經網絡。卷積神經網絡可包括神經元集合，其中每個神經元具有感受野并且共同地拼出一輸入空間。卷積神經網絡(CNN)具有眾多應用。具體而言，CNN已被廣泛使用于模式識別和分類領域。

深度學習架構(諸如深度置信網絡和深度卷積網絡)是分層神經網絡架構，其中第一層神經元的輸出變成第二層神經元的輸入，第二層神經元的輸出變成第三層神經元的輸入，依此類推。深度神經網絡可被訓練以識別特征階層并且因此它們已被越來越多地用于對象識別應用。類似于卷積神經網絡，這些深度學習架構中的計算可分布在處理節點群體上，其可被配置在一個或多個計算鏈中。這些多層架構可每次訓練一層并且可涉及使用后向傳播的微調。

其他模型也可用于對象識別。例如，支持向量機(SVM)是可被應用于分類的學習工具。支持向量機包括對數據進行歸類的分離超平面(例如，決策邊界)。該超平面由監督式學習來定義。期望的超平面增加訓練數據的裕量。換言之，超平面應該具有到訓練示例的最大的最小距離。

盡管這些解決方案在數個分類基準上達到了優異的結果，但它們的計算復雜度可能極其高。另外，模型的訓練可能是有挑戰性的。

發明內容

在本公開的一方面，給出了一種用于選擇定點機器學習模型的位寬的方法。所述方法包括評估該機器學習模型的每個計算級處的模型準確度對于位寬的敏感度。該方法還包括基于該敏感度評估來選擇該模型的計算級中的參數和/或中間計算的位寬。該參數的位寬和該中間計算的位寬可以是不同的。

在本公開的另一方面，給出了一種用于選擇定點機器學習模型的位寬的裝置。該裝置包括存儲器以及耦合至該存儲器的至少一個處理器。該一個或多個處理器被配置成評估該機器學習模型的每個計算級處的模型準確度對于位寬的敏感度。(諸)處理器還被配置成基于該敏感度評估來選擇該模型的計算級中的參數和/或中間計算的位寬。該參數的位寬和該中間計算的位寬可以是不同的。

在本公開的還有另一方面，給出了一種用于選擇定點機器學習模型的位寬的裝備。該裝備包括用于評估該機器學習模型的每個計算級處的模型準確度對于位寬的敏感度的裝置。該裝備進一步包括用于基于該敏感度評估來選擇該模型的計算級中的參數和/或中間計算的位寬的裝置。該參數的位寬和該中間計算的位寬可以是不同的。