[發明專利]生成神經網絡方法、設備及計算機可讀存儲介質

在審

• 申請號: 202110683416.8
• 申請日: 2021-06-21
• 公開（公告）號: CN113537457A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 許鋆;薛悅榕;龔佳偉
• 申請（專利權）人: 哈爾濱工業大學（深圳）
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 黃廣龍

本發明公開了一種生成神經網絡方法、設備及計算機可讀存儲介質。本發明通過獲取初始神經元；對初始神經元進行標準正交化處理，得到標準神經元；根據標準神經元計算出備選神經元；根據備選神經元的備選指數確定目標神經元；將目標神經元添加至神經元集合；根據神經元集合生成神經網絡。降低了生成神經網絡的計算復雜度，大大的縮短了生成神經網絡的時間成本。

技術領域

本發明涉及人工智能神經網絡技術領域，尤其是涉及一種生成神經網絡方法、設備及計算機可讀存儲介質。

背景技術

近年來，人工神經網絡發展迅猛，應用在諸多領域實施場景中。神經網絡的組成單位是神經元，多層的神經元連接成網絡就形成了神經網絡模型。為了解決實際應用問題通常需要訓練大規模的網絡來解決問題，但實際上網絡中的許多神經元都是冗余的，從而導致神經網絡模型的計算復雜度很大。

在相關技術中，通常采用剪枝優化網絡結構，通常是先訓練一個大型網絡，再將重要性較低的神經元和與其相關的連接剪掉，從而實現結構優化。也采用網絡結構搜索算法直接對網絡結構進行優化，其意思是給定一個函數搜索空間，每次迭代尋找一個子網絡結構，評估網絡的性能，直到得到最優的子網絡結構，該網絡將網絡結構看成一個可變長度的字符串，使用一個RNN(recurrent neural network，循環神經網絡)來訓練這個字符串，然后訓練字符串決定的網絡，當網絡收斂后，將網絡的精度反饋給RNN(recurrent neuralnetwork，循環神經網絡)，從而用來調整網絡的參數。

但是，網絡剪枝的方法需要先訓練一個較大的網絡，然后對大型網絡進行剪枝，訓練大型網絡本身需要較大的計算量，為了使剪枝后的網絡的精度不下降，需要對剪枝的網絡進行微調，十分耗費計算資源，并且網絡結構搜索算法雖然比人為設計的神經網絡框架的效果好，但是需要訓練多個子網絡，將子網絡的精度反饋給RNN控制器，調整RNN控制器來生成結構更好的網絡，比起傳統的網絡，需要更大的計算量，因此，如何對神經網絡結構進行優化，簡便的生成的神經網絡仍為一個難題。

發明內容

本發明旨在至少解決現有技術中存在的技術問題之一。為此，本發明提出一種生成神經網絡方法、設備及計算機可讀存儲介質，能夠通過一種降低復雜度的算法，生成優化后的神經網絡。

根據本發明申請的第一方面實施例的生成神經網絡方法，包括：

獲取初始神經元；

對初始神經元進行標準正交化處理，得到標準神經元；

根據標準神經元計算出備選神經元；

根據備選神經元的備選指數確定目標神經元；

將目標神經元添加至神經元集合；

根據神經元集合生成神經網絡。

根據本發明實施例的生成神經網絡方法，至少具有如下有益效果：

本發明通過獲取初始神經元，對初始神經元進行標準正交化處理，得到標準神經元，根據標準神經元計算出備選神經元，再根據備選神經元的備選指數確定目標神經元，將目標神經元添加至神經元集合，根據神經元集合生成神經網絡。利用向量內積生成神經網絡，降低了生成神經網絡的計算復雜度，大大的縮短了生成神經網絡的時間成本。

根據本申請的一些實施例，包括：

獲取初始網絡；

根據初始網絡獲取到初始神經元。

根據本申請的一些實施例，包括：

將初始訓練數據服從正態分布，得到初始訓練數據的均值與標準差；

根據初始訓練數據的均值與標準差確定區間范圍；

根據區間范圍確定初始神經元的參數；