[發(fā)明專利]人臉識別神經(jīng)網(wǎng)絡(luò)調(diào)整方法和裝置

有效

• 申請?zhí)枺?/td>: 201810550169.2
• 申請日: 2018-05-31
• 公開（公告）號: CN110555450B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計）人: 高梓桁
• 申請（專利權(quán)）人: 賽靈思電子科技（北京）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/764;G06V10/774;G06V10/82;G06K9/62
• 代理公司: 北京展翼知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11452
• 代理人: 張陽

1.一種調(diào)整人臉識別神經(jīng)網(wǎng)絡(luò)的方法，其中所述人臉識別神經(jīng)網(wǎng)絡(luò)至少包括多個卷積層和至少一個全連接層，最后一個全連接層是用于分類的分類器，所述方法包括：

獲取待訓練的神經(jīng)網(wǎng)絡(luò)模型，所述神經(jīng)網(wǎng)絡(luò)模型使用圖像作為輸入；

使用定點量化來對所述神經(jīng)網(wǎng)絡(luò)模型進行訓練，以獲得經(jīng)訓練的定點量化神經(jīng)網(wǎng)絡(luò)模型，其中所述最后一個全連接層在訓練過程中保持浮點；以及

輸出不帶所述最后一個全連接層的所述經(jīng)訓練的定點量化的神經(jīng)網(wǎng)絡(luò)模型，

其中，使用定點量化來對所述神經(jīng)網(wǎng)絡(luò)模型進行訓練包括：

以弱約束損失函數(shù)訓練出基礎(chǔ)定點神經(jīng)網(wǎng)絡(luò)模型；

基于所述基礎(chǔ)定點神經(jīng)網(wǎng)絡(luò)模型，以強約束損失函數(shù)訓練得到所述經(jīng)訓練的定點量化神經(jīng)網(wǎng)絡(luò)模型，

其中，所述經(jīng)訓練的定點量化的神經(jīng)網(wǎng)絡(luò)模型在推理階段輸出人臉特征向量。

2.如權(quán)利要求1所述的方法，其中，使用定點量化來對所述神經(jīng)網(wǎng)絡(luò)模型進行訓練包括：

基于預定規(guī)則以逐漸降低的比特對定點量化神經(jīng)網(wǎng)絡(luò)模型進行迭代微調(diào)。

3.如權(quán)利要求2所述的方法，其中，基于預定規(guī)則以逐漸降低的比特對定點量化神經(jīng)網(wǎng)絡(luò)模型進行迭代微調(diào)包括：

逐位降低對初始高比特定點量化神經(jīng)網(wǎng)絡(luò)模型進行微調(diào)的定點比特數(shù)，直至目標低比特位寬為止，以獲得經(jīng)訓練的目標低比特定點量化的神經(jīng)網(wǎng)絡(luò)模型。

4.如權(quán)利要求2所述的方法，其中，基于預定規(guī)則以逐漸降低的比特對定點量化神經(jīng)網(wǎng)絡(luò)模型進行迭代微調(diào)包括：

在使用特定比特進行微調(diào)時，基于預定規(guī)則從神經(jīng)網(wǎng)絡(luò)模型的低層到高層逐步降低位寬至所述特定比特，以獲得該特定比特定點量化的神經(jīng)網(wǎng)絡(luò)模型。

5.如權(quán)利要求1所述的方法，其中，以低學習率的定點梯度來對所述神經(jīng)網(wǎng)絡(luò)模型進行訓練，所述梯度的定點位寬與所述神經(jīng)網(wǎng)絡(luò)模型的當前定點位寬相同。

6.如權(quán)利要求1所述的方法，其中，定點量化包括對權(quán)重參數(shù)、梯度值和激活值的定點量化，并且對權(quán)重參數(shù)和激活值進行線性定點量化。

7.如權(quán)利要求1所述的方法，其中，使用定點量化來對所述神經(jīng)網(wǎng)絡(luò)模型進行訓練包括：

在定點量化訓練時保留除所述最后一層全連接層之外的特定層的浮點或高比特位寬。

8.如權(quán)利要求7所述的方法，其中，所述高比特位寬是輸出的定點量化神經(jīng)網(wǎng)絡(luò)模型的位寬的整數(shù)倍。

9.一種人臉識別神經(jīng)網(wǎng)絡(luò)部署方法，包括：

在至少部分包括FPGA、GPU和/或ASIC的定點計算平臺上部署如權(quán)利要求1-8中任一項所述的經(jīng)訓練的定點量化的神經(jīng)網(wǎng)絡(luò)模型以執(zhí)行推理。

10.如權(quán)利要求9所述的方法，其中，所述至少一個全連接層還包括倒數(shù)第二個全連接層，用于輸出提取的所述人臉特征向量，并且所述倒數(shù)第二個全連接層用作輸出的所述經(jīng)訓練的定點量化的神經(jīng)網(wǎng)絡(luò)模型的輸出層。

11.如權(quán)利要求10所述的方法，其中，所述神經(jīng)網(wǎng)絡(luò)模型執(zhí)行推理輸出的所述人臉特征向量被用于與已有的人臉特征相比對以進行人臉識別。

12.如權(quán)利要求9所述的方法，其中，所述定點量化的位寬由所述FPGA、GPU和/或ASIC的位寬決定。

13.如權(quán)利要求9所述的方法，還包括：

將所述推理的驗證結(jié)果用于對部署的所述定點量化神經(jīng)網(wǎng)絡(luò)的微調(diào)。