[發(fā)明專利]一種基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的微表情識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810295901.6
• 申請(qǐng)日: 2018-04-04
• 公開(kāi)（公告）號(hào): CN110348271A
• 公開(kāi)（公告）日: 2019-10-18
• 發(fā)明（設(shè)計(jì)）人: 賁晛燁;龐建華;任億;翟鑫亮;陳瑞敏;張?chǎng)?/a>
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南金迪知識(shí)產(chǎn)權(quán)代理有限公司 37219
• 代理人: 楊樹(shù)云

1.一種基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的微表情識(shí)別方法，其特征在于，包括：

A、微表情樣本處理

1)處理微表情數(shù)據(jù)集的樣本數(shù)據(jù)和標(biāo)簽數(shù)據(jù)；

2)構(gòu)建分層數(shù)據(jù)格式hdf5訓(xùn)練和測(cè)試文件；

B、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)訓(xùn)練

3)構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)利用訓(xùn)練好的網(wǎng)絡(luò)模型為所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型微調(diào)參數(shù)，并訓(xùn)練一個(gè)柔性最大值損失函數(shù)，使得所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)最佳；

4)固定訓(xùn)練好的卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，訓(xùn)練長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型，使得特定維的損失函數(shù)降到最低；

C、微表情識(shí)別

根據(jù)訓(xùn)練好的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型，初始化測(cè)試參數(shù)，將用于測(cè)試的樣本送入訓(xùn)練好的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)模型中，經(jīng)過(guò)網(wǎng)絡(luò)前向傳播之后輸出識(shí)別率。

2.根據(jù)權(quán)利要求1所述的一種基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的微表情識(shí)別方法，其特征在于，所述步驟A，微表情樣本處理，微表情數(shù)據(jù)集的樣本數(shù)據(jù)和標(biāo)簽數(shù)據(jù)包括每個(gè)微表情樣本的圖像序列、對(duì)應(yīng)標(biāo)簽、連續(xù)標(biāo)志位；圖像序列記錄當(dāng)前圖像的文件路徑；連續(xù)標(biāo)志位代表當(dāng)前圖像是否為一段序列的一張，連續(xù)標(biāo)志位是0，則代表當(dāng)前圖像是當(dāng)前序列的起始幀，連續(xù)標(biāo)志位是1，則代表當(dāng)前圖像是當(dāng)前序列的連續(xù)幀；包括：

a、將每個(gè)微表情樣本的對(duì)應(yīng)標(biāo)簽、連續(xù)標(biāo)志位分別以數(shù)字的形式記錄，將文件路徑和兩個(gè)數(shù)字分別寫(xiě)入一行文本，對(duì)于所有的微表情樣本及其圖像，保存為一個(gè)以行區(qū)分的文本；

b、按行讀取文本，對(duì)于每一行，讀取其第一個(gè)空格前內(nèi)容所對(duì)應(yīng)的圖像數(shù)據(jù)，并保存為三維矩陣H×W×C，H、W、C分別代表圖像的高、寬、通道數(shù)，并將三維矩陣H×W×C的高H、寬W調(diào)整到固定大小S×S，S的取值范圍是100～300；通道數(shù)C保持不變；

c、將步驟b得到的調(diào)整后的矩陣轉(zhuǎn)置為C×H×W，即調(diào)整大小和維數(shù)方向；

d、將步驟c得到的調(diào)整后的矩陣歸一化處理后保存到hdf5的data中，每一行的剩余兩個(gè)文字分別保存成數(shù)字后寫(xiě)入到hdf5的label中。

3.根據(jù)權(quán)利要求1所述的一種基于長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)的微表情識(shí)別方法，其特征在于，所述步驟3)，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型，通過(guò)利用訓(xùn)練好的網(wǎng)絡(luò)模型為所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型微調(diào)參數(shù)，并訓(xùn)練一個(gè)柔性最大值損失函數(shù)，使得所構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)最佳；包括：

e、構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)包括數(shù)據(jù)輸入、卷積計(jì)算、全連接層和損失函數(shù)四部分，數(shù)據(jù)輸入為圖像數(shù)據(jù)層；卷積計(jì)算包括5層卷積層，每一層卷積層后接一個(gè)池化層和一個(gè)RELU激活函數(shù)，RELU激活函數(shù)為f(x)＝max(0,x)；5層卷積層后為三個(gè)全連接層，前兩個(gè)全連接層將5層卷積層CNN輸出特征規(guī)整維數(shù)為1024、2048或4096的特征，最后一個(gè)全連接層輸出維數(shù)與微表情類別數(shù)相同；

卷積神經(jīng)網(wǎng)絡(luò)的輸入為數(shù)據(jù)層的圖像數(shù)據(jù)，假設(shè)數(shù)據(jù)的輸入大小為T(mén)×N×C×H×W，T代表長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)層處理的時(shí)間步的數(shù)量，在本發(fā)明中T代表一段圖像序列的幀數(shù)，N代表一個(gè)最小批量里同時(shí)處理的序列個(gè)數(shù)，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后，輸出大小為(T×N)×1×4096；

f、訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)：以行為識(shí)別中訓(xùn)練好的卷積網(wǎng)絡(luò)為參數(shù)模板，通過(guò)共享其參數(shù)模型對(duì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行微調(diào)，即保留網(wǎng)絡(luò)中的卷積層名稱不變，改變?nèi)B接層的名稱；使網(wǎng)絡(luò)利用已有的參數(shù)微調(diào)，訓(xùn)練一個(gè)柔性最大值損失函數(shù)，柔性最大值損失函數(shù)L_CNN如式(Ⅰ)所示：

式(Ⅰ)中，σ_h,w(a_i)為h、w對(duì)應(yīng)的柔性最大值函數(shù)，i＝0,1,...,M，M為微表情標(biāo)簽個(gè)數(shù)，a_i和a_j分別為送入柔性最大值損失函數(shù)之前在i和j處的網(wǎng)絡(luò)輸出，i代表M個(gè)標(biāo)簽中當(dāng)前的標(biāo)簽，j代表將exp(a_j)所有M個(gè)加和中的第j個(gè)。