[發明專利]基于自審視的多單元反饋網絡模型、設備和存儲介質

在審

• 申請號: 202110236817.9
• 申請日: 2021-03-03
• 公開（公告）號: CN113011582A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 李陽;孫芳蕾;楊旸;汪軍;溫穎
• 申請（專利權）人: 上?？萍即髮W
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 李治東

本申請提供的一種基于自審視的多單元反饋網絡模型、設備和存儲介質，該反饋網絡模型主要由三個智能體組成：編碼單元、自審視單元、及解碼智單元。自審視單元將編碼智能體編碼結果作為輸入，對編碼結果進行再處理，糾錯后再輸入到編碼單元中進行編碼，最后解碼單元進行解碼三個智能體緊密合作使得整個網絡有著更強的反思糾錯能力。

技術領域

本發明涉及深度學習網絡模型研究技術領域，特別是涉及一種基于自審視的多單元反饋網絡模型、設備和存儲介質。

背景技術

深度學習建立在連接主義和神經科學理論技術上，其通過使用人工神經網絡來模擬大腦的感知過程。受益于數十年來計算能力的提升和大規模數據樣本的出現，深度學習在機器翻譯，語音識別，語音合成，圖像處理等領域取得了突破性的進展。

但現在的神經網絡還和人腦中復雜的神經系統系統有著較大的差距，現有的神經網絡大多是前饋結構或者擁有樸素的循環、反饋結構，而缺乏像人類一樣的反思能力。前饋神經網絡，比如卷積神經網絡，數據都是單一從輸入流向輸出，這樣的結構也使得神經網絡無法利用高層已經處理過的信息進行反思完善自己。因此前饋神經網絡并不能滿足人們對深度學習更智能的要求，在一些神經科學研究的啟發下，一些改進算法隨之被提出。神經科學研究表明在人類大腦中存在著大量的循環反饋機制來進行視覺處理。受這些神經科學研究啟發，ConvRNNs[1]，RIG-Net[2]，RethinkingCNN[3]和LoopyNets[4]等方法引入了循環反饋結構來解決圖像識別問題。一方面他們使用循環結構來提升分類正確率，另一方面像ConvRNNs，RethinkingNets，LoopyNets等模型在中間層添加一條反饋回路將中間層信息反饋至底層神經元。這些現有的工作都在嘗試在現有神經網絡架構的基礎上實現類似于人腦的反思能力，但這些方法都只是簡單的模擬大腦中的神經網絡的反饋回路結構，并不具有對中間層或者頂層信息進行自我審視反思的能力。

ConvRNNs提出現有的卷積神經網絡并不具備生物視覺系統中普遍存在的體系結構特征：皮質區域內的局部循環以及下游區域到上游區域的遠程反饋。因此他們探究了反饋在改善分類性能中的作用，標準結構的循環比如遞歸神經網絡(RRNs)，長短時記憶模型(LSTM)和卷積神經網絡融合并不能取得更好的性能表現，而在循環中添加兩個新的結構特征：旁路和門控能夠大大的提高任務的準確度。作者們依據這些設計原則自動搜索了數千種網絡結構，找到了一種新的局部循環單元和對物體識別有用的遠程反饋連接。

RIG-Net提出了一種稱為RIG-Net的遞歸迭代門控方案。RIG-Net的核心元素涉及循環連接，這些連接采用自上而下的方式控制神經網絡中的信息流，并考慮了核心結構上的不同變體。這種機制的迭代性質允許門控在空間范圍和特征空間中擴展。并通過實驗表明該迭代反饋機制與現有的常見網絡有著較好的兼容性。其主要技術方案設計：1)網絡中的某些層的輸出通過門控模塊反饋到較早的層，簡單的門控模塊比如恒等映射等；2)通過級聯/乘法/加法將反饋與較早層的表示進行組合，來生成下一次迭代的輸入。在提出的RIG-Net框架中，將各層的反饋調制形成該層的輸入信號模仿視覺的注意力機制，并引入了層次結構，從而導致隱式的從粗到細的表達來提高空間和語義環境的推理表現。該技術方案在前饋網絡中集成了迭代反饋模塊，這些模塊可以看作是更具后向流動的信息重新路由捕獲的新的信息，并在更高的層次上模擬了人腦的循環結構。

LoopyNets提出當前的人工神經網絡是非循環計算圖，人工網絡中的神經元只發射一次，沒有時間動力。這兩個特性與神經科學關于人腦連接性的知識形成了鮮明的對比，尤其是在物體識別方向。因此，該方案提出通過展開循環神經網絡的幾個時間不來模擬大腦中的反饋循環，并比較了循環的不同結構，包括輸入的乘法組成和輸入的加法組成。該技術方案類似于遞歸神經網絡(RNN)。該模型進一步由參數K(展開系數)決定，該參數決定執行循環的次數。通過添加類似于RNN的反饋機制允許低層網絡指導較高層特征的權重，可以對較低層的權重進行更精細的選擇。通過反饋機制，及時很淺的人工神經網絡也能擁有類似于深層的神經網絡表現，但是和相同深度的神經網絡相比，展開的網絡使用的參數要少的多，但兩個網絡使用的參數要少得多。