[發明專利]模型處理方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110064239.5
• 申請日: 2021-01-18
• 公開（公告）號: CN112766492A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 譚志鵬
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 深圳市智圈知識產權代理事務所(普通合伙) 44351
• 代理人: 苗燕

本申請公開了一種模型處理方法、裝置、電子設備及存儲介質，應用于計算機技術領域，該模型處理方法包括：獲取隨機賦值的初始樣本；通過預先訓練好的原始模型，對所述初始樣本進行迭代更新，得到最終更新生成的合成樣本，其中，所述原始模型根據原始訓練樣本對神經網絡模型訓練得到，所述合成樣本用于模擬所述原始訓練樣本；根據所述合成樣本，對所述原始模型的模型參數進行微調；對所述微調后的原始模型進行量化壓縮，得到壓縮后的目標模型。本方法通過生成近似原始訓練樣本的合成樣本，來微調和量化模型，可以減少量化誤差，提升量化精度。

技術領域

本申請涉及計算機技術領域，更具體地，涉及一種模型處理方法、裝置、電子設備及存儲介質。

背景技術

伴隨著人工智能的發展，深度學習在各個領域取得了突破進展，將深度學習的數學模型部署在移動電子設備與嵌入式系統也成為迫切需求。而當前的深度學習模型，主要依靠強大的硬件計算力來不斷提升其架構的層次深度，進而得到較好的準確率。

但是，對于現有的嵌入式設備或者大量邊緣設備來說，其遠遠不能承受復雜性較高的數學模型，因此，需要對設備中的深度學習模型進行壓縮。

發明內容

鑒于上述問題，本申請提出了一種模型處理方法、裝置、電子設備及存儲介質。

第一方面，本申請實施例提供了一種模型處理方法，所述方法包括：獲取隨機賦值的初始樣本；通過預先訓練好的原始模型，對所述初始樣本進行迭代更新，得到最終更新生成的合成樣本，其中，所述原始模型根據原始訓練樣本對神經網絡模型訓練得到，所述合成樣本用于模擬所述原始訓練樣本；根據所述合成樣本，對所述原始模型的模型參數進行微調；對所述微調后的原始模型進行量化壓縮，得到壓縮后的目標模型。

第二方面，本申請實施例提供了一種模型處理裝置，所述裝置包括：樣本獲取模塊，用于獲取隨機賦值的初始樣本；樣本生成模塊，用于通過預先訓練好的原始模型，對所述初始樣本進行迭代更新，得到最終更新生成的合成樣本，其中，所述原始模型根據原始訓練樣本對神經網絡模型訓練得到，所述合成樣本用于模擬所述原始訓練樣本；模型微調模塊，用于根據所述合成樣本，對所述原始模型的模型參數進行微調；模型量化模塊，用于對所述微調后的原始模型進行量化壓縮，得到壓縮后的目標模型。

第三方面，本申請實施例提供了一種電子設備，包括：一個或多個處理器；存儲器；一個或多個應用程序，其中所述一個或多個應用程序被存儲在所述存儲器中并被配置為由所述一個或多個處理器執行，所述一個或多個應用程序配置用于執行上述第一方面提供的模型處理方法。

第四方面，本申請實施例提供了一種計算機可讀取存儲介質，所述計算機可讀取存儲介質中存儲有程序代碼，所述程序代碼可被處理器調用執行上述第一方面提供的模型處理方法。

本申請提供的方案，通過獲取隨機賦值的初始樣本，然后通過預先訓練好的原始模型，對該初始樣本進行迭代更新，以最終更新生成可近似模擬原始訓練樣本的合成樣本，其中，原始模型可根據原始訓練樣本對神經網絡模型訓練得到。然后可根據該合成樣本，對原始模型的模型參數進行微調，并對微調后的原始模型進行量化壓縮，從而可得到壓縮后的目標模型。由此，本申請可實現對模型的量化壓縮，且不需要原始訓練樣本的參與，而是通過生成的用于替換原始訓練樣本的合成樣本來對模型進行微調，可以減少因量化壓縮而所引起的精度損失，提高量化后模型的準確度。

附圖說明

為了更清楚地說明本申請實施例中的技術方案，下面將對實施例描述中所需要使用的附圖作簡單地介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領域技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖獲得其他的附圖。

圖1示出了根據本申請一個實施例的模型處理方法的一種流程圖。

圖2示出了根據本申請另一個實施例的模型處理方法的一種流程圖。