[發(fā)明專利]AU檢測(cè)方法、裝置、設(shè)備及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811012252.0
• 申請(qǐng)日: 2018-08-31
• 公開（公告）號(hào): CN109409198B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 周浩
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16
• 代理公司: 深圳眾鼎專利商標(biāo)代理事務(wù)所(普通合伙) 44325
• 代理人: 黃章輝

1.一種AU檢測(cè)方法，其特征在于，包括：

獲取待檢測(cè)圖像；

將所述待檢測(cè)圖像輸入到AU檢測(cè)模型進(jìn)行檢測(cè)，獲取所述待檢測(cè)圖像的目標(biāo)動(dòng)作單元，其中，所述AU檢測(cè)模型是采用AU檢測(cè)模型訓(xùn)練方法訓(xùn)練得到的；

所述AU檢測(cè)模型訓(xùn)練方法包括：

獲取人臉圖像樣本數(shù)據(jù)；

對(duì)所述人臉圖像樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)增廣，得到訓(xùn)練樣本；

將所述訓(xùn)練樣本輸入到深度殘差網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到AU神經(jīng)網(wǎng)絡(luò)；

通過(guò)預(yù)訓(xùn)練VGGNet模型獲取預(yù)設(shè)的人臉?lè)诸惥W(wǎng)絡(luò)；

基于所述預(yù)設(shè)的人臉?lè)诸惥W(wǎng)絡(luò)，采用遷移學(xué)習(xí)算法對(duì)所述AU神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到所述AU檢測(cè)模型；

所述將所述待檢測(cè)圖像輸入到AU檢測(cè)模型進(jìn)行檢測(cè)，獲取所述待檢測(cè)圖像的目標(biāo)動(dòng)作單元，包括：

將所述待檢測(cè)圖像輸入到所述AU檢測(cè)模型中，獲取所述AU檢測(cè)模型中的神經(jīng)網(wǎng)絡(luò)的全連接層特征；

對(duì)所述全連接層特征采用激活函數(shù)進(jìn)行分類回歸，得到所述AU檢測(cè)模型中的各個(gè)AU概率值的回歸，在所述AU檢測(cè)模型的結(jié)果層獲取最大概率值對(duì)應(yīng)的AU的類別，作為所述待檢測(cè)圖像的目標(biāo)動(dòng)作單元。

2.如權(quán)利要求1所述的AU檢測(cè)方法，其特征在于，所述對(duì)所述人臉圖像樣本數(shù)據(jù)進(jìn)行增廣，得到訓(xùn)練樣本，包括：

按照預(yù)設(shè)分辨率對(duì)所述人臉圖像樣本數(shù)據(jù)進(jìn)行隨機(jī)裁剪，得到初始樣本圖片；

對(duì)所述初始樣本圖片進(jìn)行隨機(jī)尺度變換處理，得到第一樣本圖片；

對(duì)所述第一樣本圖片進(jìn)行增加噪聲處理，得到第二樣本圖片；

將所述初始樣本圖片、所述第一樣本圖片和所述第二樣本圖片作為所述訓(xùn)練樣本。

3.如權(quán)利要求1所述的AU檢測(cè)方法，其特征在于，所述采用遷移學(xué)習(xí)算法對(duì)所述AU神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，包括：

獲取所述人臉?lè)诸惥W(wǎng)絡(luò)的參數(shù)；

基于遷移學(xué)習(xí)算法將所述參數(shù)加載到所述AU神經(jīng)網(wǎng)絡(luò)中，得到所述AU檢測(cè)模型。

4.一種AU檢測(cè)裝置，其特征在于，所述AU檢測(cè)裝置包括：

待檢測(cè)圖像獲取模塊，用于獲取待檢測(cè)圖像；

AU檢測(cè)結(jié)果獲取模塊，用于將所述待檢測(cè)圖像輸入到AU檢測(cè)模型進(jìn)行檢測(cè)，獲取所述待檢測(cè)圖像的目標(biāo)動(dòng)作單元，其中，所述AU檢測(cè)模型是通過(guò)AU檢測(cè)模型訓(xùn)練裝置得到的；

所述AU檢測(cè)模型訓(xùn)練裝置包括：

樣本數(shù)據(jù)獲取模塊，用于獲取人臉圖像樣本數(shù)據(jù)；

訓(xùn)練樣本獲取模塊，用于對(duì)所述人臉圖像樣本數(shù)據(jù)進(jìn)行數(shù)據(jù)增廣，得到訓(xùn)練樣本；

AU神經(jīng)網(wǎng)絡(luò)獲取模塊，用于將所述訓(xùn)練樣本輸入到深度殘差網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，得到AU神經(jīng)網(wǎng)絡(luò)；

人臉?lè)诸惥W(wǎng)絡(luò)獲取模塊，用于通過(guò)預(yù)訓(xùn)練VGGNet模型獲取預(yù)設(shè)的人臉?lè)诸惥W(wǎng)絡(luò)；

AU檢測(cè)模型獲取模塊，用于基于所述預(yù)設(shè)的人臉?lè)诸惥W(wǎng)絡(luò)，采用遷移學(xué)習(xí)算法對(duì)所述AU神經(jīng)網(wǎng)絡(luò)進(jìn)行處理，得到AU檢測(cè)模型；

所述AU檢測(cè)結(jié)果獲取模塊包括：

全連接層特征獲取單元，用于將待檢測(cè)圖像輸入到AU檢測(cè)模型中，獲取AU檢測(cè)模型中的神經(jīng)網(wǎng)絡(luò)的全連接層特征；

AU檢測(cè)結(jié)果獲取單元，用于對(duì)全連接層特征采用激活函數(shù)進(jìn)行分類回歸，得到AU檢測(cè)模型中的各個(gè)AU概率值的回歸，在AU檢測(cè)模型的結(jié)果層獲取最大概率值對(duì)應(yīng)的AU的類別，作為待檢測(cè)圖像的目標(biāo)動(dòng)作單元。

5.如權(quán)利要求4所述的AU檢測(cè)裝置，其特征在于，所述訓(xùn)練樣本獲取模塊包括：

初始樣本圖片獲取單元，用于按照預(yù)設(shè)分辨率對(duì)所述人臉圖像樣本數(shù)據(jù)進(jìn)行隨機(jī)裁剪，得到初始樣本圖片；第一樣本圖片獲取單元，用于對(duì)所述初始樣本圖片進(jìn)行隨機(jī)尺度變換處理，得到第一樣本圖片；

第二樣本圖片獲取單元，用于對(duì)所述第一樣本圖片進(jìn)行增加噪聲處理，得到第二樣本圖片；

訓(xùn)練樣本獲取單元，用于將所述初始樣本圖片、所述第一樣本圖片和所述第二樣本圖片作為所述訓(xùn)練樣本。

6.一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至3所述的AU檢測(cè)方法的步驟。

7.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至3任一項(xiàng)所述的AU檢測(cè)方法的步驟。