[發明專利]人造神經網絡的簡化裝置和簡化方法

在審

• 申請號: 201610608615.1
• 申請日: 2016-07-28
• 公開（公告）號: CN107516132A
• 公開（公告）日: 2017-12-26
• 發明（設計）人: 劉峻誠;郝康立;劉柳
• 申請（專利權）人: 耐能有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京三友知識產權代理有限公司11127
• 代理人: 郭曉宇

技術領域

本發明與人造神經網絡(artificial neural network)相關，并且尤其與可重新組態的人造神經網絡相關。

背景技術

以人造神經網絡進行機器學習的概念存在已久，但先前受限于處理器運算能力，相關研究始終無法順利推進。近十年來，隨著處理器運算速度、存儲器存取速度以及機器學習演算法等各方面技術的長足進步，能產出正確判斷結果的人造神經網絡逐漸成為可能，因而在自動駕駛、影像辨識、自然語言辨識、數據探勘等領域中重新受到高度重視。

大腦中最基本的運算單位—神經元，是通過多個樹突(dendrite)收集多個輸入信號，并通過軸突(axon)傳遞輸出信號(通常是傳遞至另一個神經元的樹突作為輸入信號)。單一人造神經元的典型運作可被數學化表示如下：

其中符號x表示輸入信號，y表示輸出信號；每一個樹突各自加諸于其輸入信號x的權重w模擬該樹突所連接的前一個神經元對于此神經元的影響程度；符號b表示此神經元本身貢獻的偏移量(bias)。符號f代表一特定非線性函數，在人造神經網絡中常用Σ函數(sigmoid function)、雙曲正切(hyperbolic tangent,tanh)函數或是整流后線性函數(rectified linear function)進行實際運算。

一個人造神經網絡所采行的判斷規則可說是由該網絡中所有神經元的權重w與偏移量b共同定義。采用監督式學習(supervised learning)的人造神經網絡會在學習過程中將訓練樣本輸入人造神經網絡，并根據最后產出的判斷結果調整各個神經元的權重w與偏移量b，以期望找出令判斷結果與訓練樣本相符的對映規則。采用非監督式學習(unsupervised learning)的人造神經網絡則是在不知道判斷結果與訓練樣本是否相符的情況下，自行調整各個神經元的權重w與偏移量b，設法找出潛在規則。無論是采用哪一種學習策略，目標皆是為網絡中的每一個神經元找出適當的參數(權重w、偏移量b)供日后使用。

現行的人造神經網絡通常被設計為具有多層(multi-layer)結構。除了最前端的輸入層與最后端的輸出層，其他串接在輸入層與輸出層之間的稱為隱藏層(hidden layer)。輸入層用以接收外部數據，不進行運算。隱藏層與輸出層則是各自以前一層的輸出信號作為當層的輸入信號，并且各自包含多個根據式一進行運算的神經元。若以神經元連接方式區分，每一個隱藏層與輸出層可以各自是一卷積層(convolutional layer)或一全連接層(fully-connected layer)。卷積層與全連接層的主要差別在于：全連接層中的每一個神經元都會被各自連接到其相鄰前后層中的所有神經元，而卷積層中的每一個神經元只會被連接到前一層中的部分神經元。為了減少可學習參數(learnable parameter)的數量，卷積層中的多個神經元會共用同一組權重w與偏移量b。目前有多種人造神經網絡架構，對于卷積層與全連接層的配置組合各有不同的規劃。以Alex Krizhevsky等學者于2012年提出的AlexNet架構為例，其中總共包含六十五萬個神經元，構成依序串接的五個卷積層以及三個全連接層。

一般而言，人造神經網絡中的層數與其學習能力成正比。低層數的人造神經網絡學習能力有限，面對性質較復雜的訓練樣本，即使進行大量的訓練，往往仍然無法找出令判斷結果與訓練樣本相符的對映規則(或稱無法收斂于可靠的對映規則)。因此，在需要進行較復雜的判斷時，目前的做法是利用運算資源無虞的超級電腦來實現具有高層數結構(例如二十九個運算層)、高學習能力的人造神經網絡。

相對于超級電腦，消費性電子產品(尤其是行動裝置)中的硬件規模與電力等運算資源大多非常有限(例如只足以實現具有五個運算層的人造神經網絡)。當消費性電子產品執行與人造神經網絡相關的應用程序且需要進行較復雜的判斷時，通常是通過網際網絡連接到服務供應商的服務器，請求遠端的超級電腦協助運算并回傳判斷結果。然而，這種做法有幾個缺點。首先，網絡連線的穩定性極易受到環境影響。在網絡連線不穩定的情況下，遠端的超級電腦可能無法即時將判斷結果提供給消費性電子產品。對于自動駕駛這類涉及人身安全且亟需即時判斷的應用，無法即時得到判斷結果的后果相當嚴重。再者，行動網絡傳輸常常是以流量計費。此因素無疑會對許多使用者造成負擔。

發明內容

為解決上述問題，本發明提出一種人造神經網絡的簡化裝置與簡化方法。