[發(fā)明專利]深度學習網(wǎng)絡加速方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111011290.6
• 申請日: 2021-08-31
• 公開（公告）號: CN113688989A
• 公開（公告）日: 2021-11-23
• 發(fā)明（設計）人: 羅晨光
• 申請（專利權(quán)）人: 中國平安人壽保險股份有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06F11/34;G06N3/04
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李翔宇

本發(fā)明公開了深度學習網(wǎng)絡加速方法、裝置、設備及存儲介質(zhì)，涉及人工智能技術(shù)，在確定所述CPU測試參數(shù)集中的測試總耗時超出預設的測試時長閾值時，將所述基礎模型對應的模型參數(shù)集及模型結(jié)構(gòu)根據(jù)預設的模型調(diào)整策略進行調(diào)整，采用模型壓縮的方法，對模型進行一系列的參數(shù)、知識等進行壓縮處理，減小生成模型的大小，實現(xiàn)了降低對CPU資源的消耗程度，反饋結(jié)果更加快速，而且提升了運算效率。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能的智能決策技術(shù)領(lǐng)域，尤其涉及一種深度學習網(wǎng)絡加速方法、裝置、設備及存儲介質(zhì)。

背景技術(shù)

目前，隨著人工智能的飛速發(fā)展，慢慢地滲入到各行各業(yè)，前期在耗費GPU的資源上對模型進行加速，然將其轉(zhuǎn)入CPU端進行部署時，會因為CPU性能的問題，而導致各種時間的延遲。例如，有一些神經(jīng)網(wǎng)絡模型部署于智能終端的CPU中時，若神經(jīng)網(wǎng)絡模型在部署之前未充分考慮到其具體運行時對CPU資源的消耗程度，后續(xù)在實際模型運行進行各種運算的過程中，會導致CPU性能參數(shù)超標，從而導致各種結(jié)果反饋的延時，影響運算效率。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種深度學習網(wǎng)絡加速方法、裝置、設備及存儲介質(zhì)，旨在解決現(xiàn)有技術(shù)中神經(jīng)網(wǎng)絡模型在部署之前未充分考慮到其具體運行時對CPU資源的消耗程度，后續(xù)在實際模型運行進行各種運算的過程中，會導致CPU性能參數(shù)超標，使得各種結(jié)果反饋的延時，影響運算效率的問題。

第一方面，本發(fā)明實施例提供了一種深度學習網(wǎng)絡加速方法，其包括：

獲取已存儲的訓練集；其中，所述訓練集中包括多個訓練數(shù)據(jù)；

根據(jù)所述訓練集對待訓練基礎模型進行訓練，得到基礎模型，并得到與所述基礎模型對應的模型參數(shù)集；

獲取已存儲的校驗集，通過所述校驗集對所述基礎模型進行模型校驗，若所述基礎模型通過模型校驗，保存所述基礎模型及對應的所述模型參數(shù)集；

獲取已存儲的測試集，將所述測試集輸入至所述基礎模型進行運算直至得到測試結(jié)果，并得到CPU測試參數(shù)集；

若確定所述CPU測試參數(shù)集中的測試總耗時超出預設的測試時長閾值，將所述基礎模型對應的模型參數(shù)集及模型結(jié)構(gòu)根據(jù)預設的模型調(diào)整策略進行調(diào)整，得到調(diào)整后基礎模型，以調(diào)整后基礎模型更新作為待訓練基礎模型，返回執(zhí)行所述根據(jù)所述訓練集對待訓練基礎模型進行模型訓練，得到基礎模型，并得到與所述基礎模型對應的模型參數(shù)集的步驟；以及

若確定所述CPU測試參數(shù)集中的測試總耗時未超出預設的測試時長閾值，將所述基礎模型發(fā)送至目的端進行部署。

第二方面，本發(fā)明實施例提供了一種深度學習網(wǎng)絡加速裝置，其包括：

訓練集獲取單元，用于獲取已存儲的訓練集；其中，所述訓練集中包括多個訓練數(shù)據(jù)；

基礎模型獲取單元，用于根據(jù)所述訓練集對待訓練基礎模型進行訓練，得到基礎模型，并得到與所述基礎模型對應的模型參數(shù)集；

校驗單元，用于獲取已存儲的校驗集，通過所述校驗集對所述基礎模型進行模型校驗，若所述基礎模型通過模型校驗，保存所述基礎模型及對應的所述模型參數(shù)集；

測試結(jié)果獲取單元，用于獲取已存儲的測試集，將所述測試集輸入至所述基礎模型進行運算直至得到測試結(jié)果，并得到CPU測試參數(shù)集；

模型調(diào)整單元，用于若確定所述CPU測試參數(shù)集中的測試總耗時超出預設的測試時長閾值，將所述基礎模型對應的模型參數(shù)集及模型結(jié)構(gòu)根據(jù)預設的模型調(diào)整策略進行調(diào)整，得到調(diào)整后基礎模型，以調(diào)整后基礎模型更新作為待訓練基礎模型，返回執(zhí)行所述根據(jù)所述訓練集對待訓練基礎模型進行模型訓練，得到基礎模型，并得到與所述基礎模型對應的模型參數(shù)集的步驟；以及

模型發(fā)送單元，用于若確定所述CPU測試參數(shù)集中的測試總耗時未超出預設的測試時長閾值，將所述基礎模型發(fā)送至目的端進行部署。