[發(fā)明專利]訓(xùn)練跨域人臉表情識(shí)別模型、人臉表情識(shí)別的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911416564.2
• 申請(qǐng)日: 2019-12-31
• 公開（公告）號(hào): CN113128287A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 謝圓;蒲韜;陳添水
• 申請(qǐng)（專利權(quán)）人: 暗物智能科技(廣州)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京三聚陽光知識(shí)產(chǎn)權(quán)代理有限公司 11250
• 代理人: 李紅團(tuán)

本發(fā)明公開了一種訓(xùn)練跨域人臉表情識(shí)別模型、人臉表情識(shí)別的方法及系統(tǒng)，其中訓(xùn)練方法包括：首先構(gòu)建人臉全局?局部特征圖，利用源域的表情標(biāo)簽及特征圖對(duì)特征提取器及分類器進(jìn)行預(yù)訓(xùn)練；基于源域和目標(biāo)域的圖像及源域表情標(biāo)簽利用預(yù)設(shè)目標(biāo)函數(shù)約束，將預(yù)訓(xùn)練好的特征提取器與判別器進(jìn)行對(duì)抗式遷移學(xué)習(xí)，預(yù)訓(xùn)練好的分類器自適應(yīng)微調(diào)，得到進(jìn)行訓(xùn)練好的特征提取器、分類器及判別器；將訓(xùn)練好的特征提取器、分類器、判別器及人特征圖組成跨域人臉表情識(shí)別模型，該方法將圖傳播機(jī)制與對(duì)抗學(xué)習(xí)相集成，實(shí)現(xiàn)跨領(lǐng)域人臉表情識(shí)別的整體特征與局部特征的相適應(yīng)，利用對(duì)抗式領(lǐng)域自適應(yīng)圖表征以及人臉特征全局?局部圖提高跨場(chǎng)景人臉表情識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉表情領(lǐng)域，具體涉及一種訓(xùn)練跨域人臉表情識(shí)別模型、人臉表情識(shí)別的方法及系統(tǒng)。

背景技術(shù)

人臉表情識(shí)別屬于計(jì)算機(jī)視覺中的一個(gè)方向，用于判斷人的情緒狀態(tài)，通常應(yīng)用于人機(jī)交互或安保監(jiān)控中。人們構(gòu)建了許多人臉表情識(shí)別數(shù)據(jù)集(包括受控環(huán)境與非受控環(huán)境)，并在此基礎(chǔ)上提出了許多人臉表情識(shí)別算法，取得了不錯(cuò)的成績(jī)。但是由于文化環(huán)境以及個(gè)體差異，人們對(duì)于人臉表情的理解并不完全統(tǒng)一，這使得各個(gè)數(shù)據(jù)集的標(biāo)注數(shù)據(jù)存在偏差，導(dǎo)致大部分人臉表情識(shí)別算法無法很好的進(jìn)行跨數(shù)據(jù)集/跨領(lǐng)域識(shí)別，從而導(dǎo)致大部分人臉表情識(shí)別算法在工業(yè)界落地時(shí)需要各個(gè)場(chǎng)景下的大量標(biāo)注數(shù)據(jù)。有的跨場(chǎng)景/跨領(lǐng)域的人臉表情識(shí)別算法，引入領(lǐng)域遷移程度超參，對(duì)于不同目標(biāo)域數(shù)據(jù)集需將該超參設(shè)置不同數(shù)值，需大量實(shí)驗(yàn)進(jìn)行探究，無法做到較好的通用設(shè)置，且僅使用人臉全局特征，并未考慮人臉局部特征以及人臉全局特征與局部特征間的關(guān)聯(lián)，識(shí)別效果不佳。

發(fā)明內(nèi)容

因此，本發(fā)明提供的一種訓(xùn)練跨域人臉表情識(shí)別模型、人臉表情識(shí)別的方法及系統(tǒng)，克服了現(xiàn)有技術(shù)中進(jìn)行跨數(shù)據(jù)集/跨領(lǐng)域的人臉識(shí)別時(shí)效果差缺陷。

第一方面，本發(fā)明實(shí)施例提供一種訓(xùn)練跨域人臉表情識(shí)別模型的方法，包括如下步驟：根據(jù)目標(biāo)域和源域的人臉特征及目標(biāo)域和源域特征的對(duì)應(yīng)關(guān)系，構(gòu)建人臉全局-局部特征圖；利用源域特征數(shù)據(jù)集的表情標(biāo)簽及所述人臉全局-局部特征圖對(duì)特征提取器及分類器進(jìn)行預(yù)訓(xùn)練；基于源域和目標(biāo)域的圖像及源域特征數(shù)據(jù)集的表情標(biāo)簽利用預(yù)設(shè)目標(biāo)函數(shù)約束，將預(yù)訓(xùn)練好的特征提取器與引入的判別器進(jìn)行對(duì)抗式遷移學(xué)習(xí)，同時(shí)所述預(yù)訓(xùn)練好的分類器進(jìn)行自適應(yīng)微調(diào)，得到進(jìn)行訓(xùn)練好的特征提取器、分類器及判別器；將訓(xùn)練好的特征提取器、分類器、判別器及人臉全局-局部特征圖組成跨域人臉表情識(shí)別模型。

在一實(shí)施例中，所述人臉特征全局-局部關(guān)聯(lián)圖G通過以下數(shù)學(xué)表達(dá)式進(jìn)行表示：

G＝(V,A)，

其中，V＝{v^s_h,v^s_le,v^s_re,v^s_no,v^s_lm,,v^s_rm,v^t_h,v^t_le,v^t_re,v^t_no,v^t_lm,,v^t_rm}，