[發明專利]一種基于憶阻器的三維卷積神經網絡實現方法

有效

• 申請號: 201810845015.6
• 申請日: 2018-07-27
• 公開（公告）號: CN109086870B
• 公開（公告）日: 2019-05-31
• 發明（設計）人: 李正浩;劉佳琪;唐永亮;李靖禾
• 申請（專利權）人: 重慶因普樂科技有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 重慶飛思明珠專利代理事務所(普通合伙) 50228
• 代理人: 劉念芝

本發明公開了一種基于憶阻器的三維卷積神經網絡實現方法，包括制備由第一卷積+池化層、第二卷積+池化層與全連接層構成的待訓練三維卷積神經網絡，并輸入原始視頻信息，得到全連接層輸出值；根據待訓練三維卷積神經網絡的全連接層輸出值與標準信息的偏差，利用反向傳播函數對待訓練三維卷積神經網絡進行訓練；當達到設定的訓練次數時，判定訓練精度是否達標，若不達標則進行再次訓練，直至精度達標；獲得所需三維卷積神經網絡等步驟。其顯著效果是：在硬件上減少了對精度和制備難度、時間的影響；便于硬件搭建實現，同時首次將基于憶阻器實現的神經網絡可以處理的信息難度提升到視頻級別。

技術領域

本發明涉及到人工智能與材料科學技術領域，具體地說，是一種基于憶阻器的三維卷積神經網絡實現方法。

背景技術

憶阻器是一種具有電阻的量綱，作為繼表示電壓與電流關系的電阻器，表示電荷和電壓關系的電容器，表示磁通與電流關系的電感器的第四種基本元件，它是一種表示磁通與電荷關系的電路器件(dρ＝Mdq)。憶阻器的阻值會伴隨流經憶阻器的電流量變化，即使電流停止，其阻值依舊停在電流停止之前的值，除非在讓電流再次流經憶阻器。對于憶阻器而言，若讓電流以正向流過，憶阻器阻值會變大；讓電流以反向流動，憶阻器阻值會變低，即其阻值由流經它的電荷所決定。憶阻器具有記憶電荷的作用，這表現在流經它的電荷量往往通過測定一個憶阻器的阻值來進行推導計算。

由于憶阻器類突觸的特性，將神經網絡計算與憶阻器相結合，可以使負責數據存儲和處理的單元融合在一起，大幅提升數據傳輸和處理的并行度，因此在人工智能中扮演了十分重要的角色。神經網絡自身種類多樣，應用范圍十分廣泛，在圖像處理、模式識別、分類、數據壓縮、視頻識別等方面均可以被應用。其中，在二維卷積網絡的基礎上，一種可以對視頻進行處理的三維卷積神經網絡(3-dimensional convolutional neural networks，3DCNNs)誕生。三維卷積神經網絡在二維的基礎上引入了時間維度，這意味著除了視頻每一幀的圖像信息將被卷積處理外，視頻的時間軸上的幀也要被卷積處理。引入的有關時間的第3維度，可以將幀與幀的關系也反映在經卷積處理過后的視頻特征中。微軟亞洲研究院(MSRA)已經做出了層數高達199的三維卷積神經網絡，并在視頻理解任務上的性能上有了穩步提升。

目前，不少科研工作者針對基于憶阻器的神經網絡計算進行了不少研究并給出了許多出色的結果。Yao等使用具有雙向模擬RRAM陣列的集成1024單元陣列通過結合反向傳播基礎神經網絡，在128×8的憶阻器陣列上實現了對大小為20×16像素的灰度圖像人臉(總共有3個人，來自耶魯大學臉部數據庫)的分類(參見文獻“Face classification usingelectronic synapses”，發表于Nature Communications，2017年第8期)。Prezioso等將單層反向傳播基礎神經網絡加載在大小為12×12的憶阻器陣列上，并實現了對大小為3×3像素的27個單像素噪聲處理過后的二進制圖像“z”、“v”、“n”的分類(參見文獻“Training andoperation of an integrated neuromorphic network based on metal-oxidememristors”，發表于Nature，2015年第521卷第7550期)。Dong等也設計并優化了基于RRAM的卷積神經網絡硬件實現方案(參見文獻“RRAM based convolutional neural networksfor high accuracy pattern recognition and online learning tasks”，發表于Silicon Nanoelectronics Workshop，2017年第145-146頁)。

然而，目前基于憶阻器所實現的神經網絡多為最基本的全連接層或簡單的卷積層，局限了憶阻器特性的發揮，導致現有研究僅限于識別簡單的信號和圖像模型。

由此可見，亟需一種能夠實現高級神經網絡(三維卷積神經網絡)的基于憶阻器的三維卷積神經網絡實現方法，以使憶阻器能夠處理更復雜的信息：視頻級別的信息。

發明內容