[發明專利]一種模型參數調整方法、裝置、電子設備和存儲介質

在審

• 申請號: 202010544321.3
• 申請日: 2020-06-15
• 公開（公告）號: CN111753955A
• 公開（公告）日: 2020-10-09
• 發明（設計）人: 吳月升;劉焱;王洋;郝新;熊俊峰
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本申請公開了一種模型參數調整方法、裝置、電子設備和存儲介質，涉及人工智能技術領域。具體實現方案為：獲取使用當前樣本數據對深度神經網絡模型進行訓練時，所述深度神經網絡模型中包含的設定網絡層的各輸入特征參數；對各所述輸入特征參數進行排序，根據排序結果選取數值最小的至少一個輸入特征參數；將選取的各輸入特征參數的數值調小。本申請實施例中，由于選出的取值較小的特征參數對模型最終輸出結果影響不大，但可能會被對抗攻擊者利用，因此將選出的部分輸入特征參數的數值調到更小，使得即使被對抗攻擊者利用，也不會嚴重影響模型的精度，進而保證了模型的魯棒性。

技術領域

本申請實施例涉及計算機技術，尤其涉及人工智能技術領域，特別涉及一種模型參數調整方法、裝置、電子設備及存儲介質。

背景技術

模型魯棒性是評價一個深度神經網絡模型的重要指標。鑒于訓練數據的非完備性和均勻分布的不可證明性，加之深度神經網絡所固有的對抗樣本等的存在，目前，沒有方法可以保證深度神經網絡模型輸出結果的完全正確。該領域的主要工作是如何在較小的代價(比如有限的訓練數據集，有限的計算資源和可接受的訓練時間)下，盡可能保證輸出的深度神經網絡模型在測試集和驗證集具備較高的準確性，并且在實際環境中具有較高的魯棒性，可以適應各類環境變化或者人為因素導致的擾動和偏差，保證模型的可信。

發明內容

本申請實施例提供了一種模型參數調整方法、裝置、電子設備及存儲介質，以提升深度神經網絡模型的魯棒性。

根據第一方面，提供了一種模型參數調整方法，包括：

獲取使用當前樣本數據對深度神經網絡模型進行訓練時，所述深度神經網絡模型中包含的設定網絡層的各輸入特征參數；

對各所述輸入特征參數進行排序，根據排序結果選取數值最小的至少一個輸入特征參數；

將選取的各輸入特征參數的數值調小。

根據第二方面，提供了一種模型參數調整裝置，包括：

特征參數獲取模塊，用于獲取使用當前樣本數據對深度神經網絡模型進行訓練時，所述深度神經網絡模型中包含的設定網絡層的各輸入特征參數；

排序篩選模塊，用于對各所述輸入特征參數進行排序，根據排序結果選取數值最小的至少一個輸入特征參數；

調整模塊，用于將選取的各輸入特征參數的數值調小。

根據第三方面，提供了一種電子設備，包括：

至少一個處理器；以及

與所述至少一個處理器通信連接的存儲器；其中，

所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被所述至少一個處理器執行，以使所述至少一個處理器能夠執行本申請任意實施例所述的模型參數調整方法。

根據第四方面，提供了一種存儲有計算機指令的非瞬時計算機可讀存儲介質，所述計算機指令用于使所述計算機執行本申請任意實施例所述的模型參數調整方法。

根據本申請的技術，在保證模型精度的同時，提高了深度神經網絡模型的魯棒性。

應當理解，本部分所描述的內容并非旨在標識本公開的實施例的關鍵或重要特征，也不用于限制本公開的范圍。本公開的其它特征將通過以下的說明書而變得容易理解。

附圖說明

附圖用于更好地理解本方案，不構成對本申請的限定。其中：

圖1a是根據本申請第一實施例的模型參數調整方法的流程示意圖；

圖1b是根據本申請第一實施例的設定層為全連接層時的各個輸入特征參數的示意圖；