[發(fā)明專利]人工神經(jīng)網(wǎng)絡的訓練

有效

• 申請?zhí)枺?/td>: 201880069287.X
• 申請日: 2018-10-23
• 公開（公告）號: CN111279366B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: M·勒加洛-布爾多;A·塞巴斯蒂安;I·博伊巴特·卡拉;E·S·埃勒夫塞里奧;N·薩西德哈蘭·拉賈勒克什米
• 申請（專利權(quán)）人: 國際商業(yè)機器公司
• 主分類號: G06N3/084
• 分類號: G06N3/084;G06N3/063;G06N3/048;G06N3/047;G06F18/2415
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 酆迅

提供用于訓練人工神經(jīng)網(wǎng)絡的方法和裝置，所述人工神經(jīng)網(wǎng)絡具有插入突觸層的一系列神經(jīng)元層。一組憶阻器件的交叉式陣列，連接在行線和列線之間，實現(xiàn)所述突觸層。每個憶阻器件存儲一個將連續(xù)的神經(jīng)元層中相應的一對神經(jīng)元互連的突觸的權(quán)重。該訓練方法包括通過以下步驟來執(zhí)行迭代訓練方案的前向傳播、后向傳播和權(quán)重更新操作：在方案的前向傳播和后向傳播操作中的至少一個中，將與相應神經(jīng)元相關聯(lián)的輸入信號施加到該組陣列的行線和列線中的一種線，以獲得所述行線和列線中的另一種線上的輸出信號；將對應于所述輸入和輸出信號的數(shù)字信號值存儲在可操作地耦合到該組陣列的數(shù)字處理單元中。通過在數(shù)字處理單元中根據(jù)所述數(shù)字信號值為相應憶阻器件計算數(shù)字權(quán)重校正值ΔW，并將編程信號施加到這些器件以根據(jù)相應數(shù)字權(quán)重校正值ΔW更新所存儲的權(quán)重，來執(zhí)行所述方案的權(quán)重更新操作。

背景技術

本發(fā)明總體上涉及人工神經(jīng)網(wǎng)絡的訓練。

人工神經(jīng)網(wǎng)絡(ANN)已經(jīng)被開發(fā)用來以神經(jīng)系統(tǒng)生物學結(jié)構(gòu)所啟發(fā)的方式執(zhí)行計算任務。這些網(wǎng)絡基于的是神經(jīng)元通過突觸互連、突觸在神經(jīng)元之間傳遞信號的生物系統(tǒng)的原理。生物神經(jīng)元處理其輸入信號并生成輸出信號，輸出信號通過各自的突觸發(fā)送到其他神經(jīng)元。突觸所發(fā)送信號的強度取決于突觸的電導，也稱為“突觸功效”(synapticefficacy)或“權(quán)重”(weight)。突觸的權(quán)重可以通過神經(jīng)元的活動來改變，突觸的這種“可塑性”對于記憶和其他腦功能至關重要。人工神經(jīng)網(wǎng)絡基于這樣一種邏輯結(jié)構(gòu)，其中，連續(xù)的神經(jīng)元層插入突觸層，每個突觸將連續(xù)的神經(jīng)元層中相應的一對神經(jīng)元互連。經(jīng)由突觸中繼的信號，按照為突觸存儲的相應突觸權(quán)重被加權(quán)。加權(quán)的信號因此可以通過網(wǎng)絡的一個接一個的層從輸入神經(jīng)元層向輸出神經(jīng)元層傳播。

人工神經(jīng)網(wǎng)絡已經(jīng)被成功地應用于諸如語音和圖像識別等各種復雜的分析任務，例如基于MNIST(修改的國家標準與技術研究所)數(shù)據(jù)集的手寫數(shù)字的分類。ANN操作包括一個在其中確定突觸權(quán)重的訓練階段。在迭代訓練方案中，向人工神經(jīng)網(wǎng)絡提供一組訓練數(shù)據(jù)，例如手寫數(shù)字的圖像數(shù)據(jù)，隨著網(wǎng)絡根據(jù)訓練數(shù)據(jù)進行“學習”，權(quán)重被重復地更新。在手寫數(shù)字的監(jiān)督學習中，例如，將標簽(這里是從0到9的數(shù)字類別)已知的MNIST數(shù)據(jù)重復地提供給網(wǎng)絡。將最后一個神經(jīng)元層的輸出信號與針對每個數(shù)位的預期網(wǎng)絡輸出進行比較，以確定誤差，然后重復地對權(quán)重進行更新以減少誤差，直到達到收斂條件。具體地，迭代訓練過程的步驟包括前向傳播操作、后向傳播操作和權(quán)重更新操作。在前向傳播操作中，將從訓練數(shù)據(jù)導出的信號從輸入神經(jīng)元層傳播到輸出神經(jīng)元層。然后，在后向傳播操作中，通過網(wǎng)絡將所得到的誤差信號從輸出神經(jīng)元層傳播回輸入神經(jīng)元層，以獲得除輸入層外的每一層中的神經(jīng)元的誤差信號。然后在權(quán)重更新操作中，基于這些誤差信號和前向傳播期間的神經(jīng)元輸出信號來更新突觸權(quán)重。