[發明專利]卷積神經網絡的診斷調整方法、系統、設備及介質

有效

• 申請號: 202011179621.2
• 申請日: 2020-10-29
• 公開（公告）號: CN112288077B
• 公開（公告）日: 2022-06-21
• 發明（設計）人: 郭亞軍;郭曉威;張蕾;郭奕旻
• 申請（專利權）人: 華中師范大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 楊采良

本發明屬于神經網絡診斷技術領域，公開了一種卷積神經網絡的診斷調整方法、系統、設備及介質，通過確定經過訓練的卷積神經網絡廣義卷積層的作用進行卷積神經網絡的診斷，基于確定的廣義卷積層的作用根據具體的場景輸出相應的調整建議，進行模型調整。本發明提供了一種面向各層功能的網絡診斷調整方法，通過對檢測廣義卷積層的作用來判斷它在模型中扮演的具體角色，由此確定具體的調整策略；能夠大大的減少調整過程中的試錯次數，同時能夠輔助推斷模型是否仍有準確率提升的空間。本發明能夠為模型帶來合理的調整建議，增加模型準確率的提升空間，并減少調整模型的過程中所產生的時間開銷。

技術領域

本發明屬于神經網絡診斷技術領域，尤其涉及一種卷積神經網絡的診斷調整方法、系統、設備及介質。

背景技術

目前，卷積神經網絡屬于深度學習中的一種關鍵技術。它廣泛用于計算機視覺以及自然語言處理領域中的各項子任務中。一般來說，當下的卷積神經網絡包含三種類型的層，即全連接層、卷積層和池化層。其中，全連接層和池化層是可以被省略的。另外，在一些卷積神經網絡中也存在一些特殊的結構，如殘差層，這些結構雖然也是由以上三種類型的層組成，但是卻具有不同的性質。這些結構(層)以一種指定的依賴順序組成了模型。

一直以來，衡量卷積神經網絡的關鍵指標就在于具體任務中的準確率。實踐表明，卷積神經網絡的性能和模型的設計理念以及模型規模有很大的相關性。然而，很多情況下，模型的設計理念是保持不變的。因而在一般情況下，業界主要通過增大模型的規模來提升模型在具體任務上的準確率。當模型的準確率提升空間充足時，對模型進行簡單調整就可以提升模型的準確率。然而，當準確率提升空間被壓縮到一定程度時，如何確定這樣的調整是否有效就是一件不太容易的事了。

目前來說，模型的調整主要還是依賴于經驗進行，唯一可以參照的便是知名的模型設計。這種情況使得模型的調整往往缺少科學依據，因而一定程度上限制模型準確率的提升空間。

通過上述分析，現有技術存在的問題及缺陷為：

(1)現有神經網絡診斷技術面向模型的安全性，不具備判斷模型各層功能的作用，所得出的診斷建議也偏向模型的安全性，與本專利的應用場景無關；

(2)現有的模型調整技術依賴于經驗，缺乏科學依據，這使得在模型準確率未知的情況下難以判斷這樣的調整是否是合理的；且為了保證模型準確率得到了充分的提升，調整需要進行多次，在調整方向無法確定的情況下，需要花費較大的時間成本在試錯上，同時模型最終的準確率也無法得到保證。

解決以上問題及缺陷的難度為：

目前針對卷積神經網絡的研究和應用中，一般將模型視為黑盒，在模型結構充分反映了設計理念后，對模型結構的修改往往是非常保守的。產生這樣結果的原因在于，模型的內部參數不可讀，除卻模型的準確率外，沒有任何一種指標能夠表明模型的內部參數是否存在不足。同時，模型的內部參數決定了各層的具體功能。然而，在內部參數不可讀的情況下，無法根據內部參數來判斷各層具體功能。這也是現有模型調整主要依賴于經驗的原因。

解決以上問題及缺陷的意義為：

本技術在理論分析階段一定程度的解決了模型內部參數的可讀性問題，并由此建立了信息熵與內部參數的關聯性。具備可讀性的信息熵能夠很好的表明廣義卷積層的具體作用，從而為模型的調整甚至是設計理念的完善指明方向。

發明內容

針對現有技術存在的問題，本發明提供了一種卷積神經網絡的診斷調整方法、系統、設備及介質。

本發明是這樣實現的，一種卷積神經網絡的診斷調整方法，所述卷積神經網絡的診斷調整方法包括：

通過確定經過訓練的卷積神經網絡廣義卷積層的作用進行卷積神經網絡的診斷，基于確定的廣義卷積層的作用根據具體的場景輸出相應的調整建議，進行模型調整。

進一步，所述確定廣義卷積層的作用包括：