[發明專利]用于生成卷積神經網絡的方法和裝置

在審

• 申請號: 201810084926.1
• 申請日: 2018-01-29
• 公開（公告）號: CN108288089A
• 公開（公告）日: 2018-07-17
• 發明（設計）人: 姜志超
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;馬曉亞

本申請實施例公開了用于生成卷積神經網絡的方法和裝置。該方法的一具體實施方式包括：獲取卷積神經網絡的目標卷積層的初始輸入值和初始權重，以分別生成第一輸入值集合和第一權重集合；根據當前階段的量化比例，對第一輸入值集合和第一權重集合分別進行量化取整，生成第二輸入值集合和第二權重集合，其中，第二權重集合中包括量化取整后的第一權重；將第二權重集合作為目標卷積層的權重，并確定當前階段的總量化比例是否達到預設比例值；響應于確定當前階段的總量化比例達到預設比例值，生成并存儲目標卷積神經網絡。該實施方式可以實現目標卷積層權重的多階段量化，有助于提高卷積神經網絡的生成方法的靈活性。

技術領域

本申請實施例涉及計算機技術領域，具體涉及神經網絡技術領域，尤其涉及用于生成卷積神經網絡的方法和裝置。

背景技術

深度學習的概念源于人工神經網絡的研究。深度學習通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發現數據的分布式特征表示。深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本。

同機器學習方法一樣，深度機器學習方法也有監督學習與無監督學習之分。不同的學習框架下建立的學習模型很是不同。例如，卷積神經網絡(Convolution NeuralNetwork，簡稱CNN)就是一種深度的監督學習下的機器學習模型；而深度置信網(DeepBelief Net，簡稱DBN)就是一種無監督學習下的機器學習模型。

發明內容

本申請實施例提出了用于生成卷積神經網絡的方法和裝置。

第一方面，本申請實施例提供了一種用于生成卷積神經網絡的方法，包括：獲取卷積神經網絡的目標卷積層的初始輸入值和初始權重；根據初始輸入值和初始權重，分別生成第一輸入值集合和第一權重集合；根據當前階段的量化比例，對第一輸入值集合中的各第一輸入值和第一權重集合中的各第一權重分別進行量化取整，生成第二輸入值集合和第二權重集合，其中，第二權重集合中包括量化取整后的第一權重；將第二權重集合作為目標卷積層的權重，并確定目標卷積層的權重在當前階段的總量化比例是否達到預設比例值；響應于確定目標卷積層的權重在當前階段的總量化比例達到預設比例值，將當前階段的卷積神經網絡作為目標卷積神經網絡，并存儲目標卷積神經網絡。

在一些實施例中，該方法還包括：響應于確定目標卷積層的權重在當前階段的總量化比例未達到預設比例值，根據損失函數對當前階段的卷積神經網絡進行訓練，以調整第二權重集合中未量化取整的第一權重，直至損失函數的值趨于目標值；獲取下一階段的量化比例作為當前階段的量化比例；根據當前階段的量化比例，對第二輸入值集合中未量化取整第一輸入值和第二權重集合中未量化取整的第一權重分別進行量化取整，以更新第二輸入值集合和第二權重集合；將更新的第二權重集合作為目標卷積層的權重，并確定目標卷積層的權重在當前階段的總量化比例是否達到預設比例值。

在一些實施例中，根據初始輸入值和初始權重，分別生成第一輸入值集合和第一權重集合，包括：根據量化編碼的位數，將初始輸入值的范圍和初始權重的范圍分別均勻劃分為預設數目個子區間，其中，預設數目與量化編碼的位數正相關；根據位于預設數目個子區間中的各輸入值和各權重，分別生成第一輸入值集合和第一權重集合。

在一些實施例中，對第一輸入值集合中的各第一輸入值和第一權重集合中的各第一權重分別進行量化取整，生成第二輸入值集合和第二權重集合，包括：根據預設量化方法，對第一輸入值集合中的各第一輸入值進行量化取整，并將量化取整后的第一輸入值作為第二輸入值，生成第二輸入值集合；根據第一權重集合中的各第一權重的分布概率，對第一權重集合中的各第一權重進行上取整或下取整，并將取整后的第一權重作為第二權重，生成第二權重集合。