[發明專利]人臉識別神經網絡調整方法和裝置

有效

• 申請號: 201810550169.2
• 申請日: 2018-05-31
• 公開（公告）號: CN110555450B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 高梓桁
• 申請（專利權）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 北京展翼知識產權代理事務所(特殊普通合伙) 11452
• 代理人: 張陽

提出了一種針對人臉識別神經網絡進行調整和部署的方法與裝置。人臉識別神經網絡至少包括多個卷積層和至少一個全連接層，最后一個全連接層是用于分類的分類器，并且所述方法包括：獲取待訓練的神經網絡模型；使用定點量化來對所述神經網絡模型進行訓練，以獲得經訓練的定點量化神經網絡模型，其中所述最后一個全連接層在訓練過程中保持浮點；以及輸出不帶所述最后一個全連接層的所述經訓練的定點量化的神經網絡模型。由此，利用人臉識別網絡的特殊性，通過在訓練階段保持對網絡整體精度有較大影響的分類器層不定點并且不再輸入網絡中包括該分類器層，能夠在確保訓練出的定點神經網絡具有高精度的同時避免網絡部署時額外的算力需求。

技術領域

本發明涉及深度學習，尤其涉及對人臉識別神經網絡的定點量化。

背景技術

在機器學習誕生之初，人臉識別就是其中一個最為基礎的應用領域。近年來隨著深度學習的不斷發展與進步，人臉識別的精度也隨之迅猛上升，甚至在多個評測集上超過人類水平。因此，人臉識別也開始在諸如智能電話、智能監控攝像頭等的生活場景中得到應用。

但實際應用場景中算力和功耗的限制在嚴重制約著人臉識別技術的推廣部署。鑒于現有神經網絡參數具備大量冗余的事實，可以通過神經網絡定點化來大幅降低資源使用量。由此，如何在算力和功耗有限的硬件上訓練并有效部署定點人臉識別神經網絡是一個必須解決的問題。

由此，需要一種更為簡便有效的人臉識別神經網絡定點量化方法。

發明內容

為了解決如上至少一個問題，本發明提出了一種針對人臉識別神經網絡調整方案，該方案通過在定點過程中保持關鍵層的浮點運算來確保定點網絡的準確性。另一方面，由于該關鍵層在部署階段會被省略，因此其不會額外消耗定點網絡部署后的算力。

根據本發明的一個方面，提出了一種調整人臉識別神經網絡的方法，其中所述人臉識別神經網絡至少包括多個卷積層和至少一個全連接層，最后一個全連接層是用于分類的分類器，所述方法包括：獲取待訓練的神經網絡模型；使用定點量化來對所述神經網絡模型進行訓練，以獲得經訓練的定點量化神經網絡模型，其中所述最后一個全連接層在訓練過程中保持浮點；以及輸出不帶所述最后一個全連接層的所述經訓練的定點量化的神經網絡模型。由此，利用人臉識別網絡的特殊性，通過在訓練階段保持對網絡整體精度有較大影響的分類器層不定點并且不再輸入網絡中包括該分類器層，能夠在確保訓練出的定點神經網絡具有高精度的同時避免網絡部署時額外的算力需求。

使用定點量化來對所述神經網絡模型進行訓練可以包括：以約束逐漸變強的損失函數對所述神經網絡模型進行迭代訓練。例如，可以以弱約束損失函數訓練出基礎定點神經網絡模型；基于所述基礎定點神經網絡模型，以強約束損失函數訓練得到所述經訓練的定點量化神經網絡模型。

另外，還基于預定規則以逐漸降低的比特對所述高比特定點量化神經網絡模型進行迭代微調，優選地，可以逐位降低對初始高比特定點量化神經網絡模型進行微調的定點比特數，直至目標低比特位寬為止，以獲得經訓練的目標低比特定點量化的神經網絡模型。由此進一步提升定點網絡的精度并降低收斂難度。在這其中，初始高比特位寬可以是目標低比特位寬的整數倍，以方便硬件部署與實現。

使用低比特對所述高比特定點量化神經網絡模型進行微調，以獲得經訓練的帶低比特定點量化的神經網絡模型包括：在使用特定低比特進行微調時，基于預定規則從神經網絡模型的低層到高層逐步降低位寬至所述特定低比特，以獲得經訓練的帶該特定低比特定點量化的神經網絡模型。由此，在逐位微調的基礎上細化為逐層微調，進一步確保定點網絡的正確收斂。

針對定點網絡，可以以低學習率的定點梯度來對所述神經網絡模型進行訓練，所述梯度的定點位寬與所述神經網絡模型的當前定點位寬相同。優選地，高比特定點量化時的學習率要大于低比特定點量化時的學習率，以進一步確保定點網絡的正確收斂。