[發(fā)明專利]一種應(yīng)用于電子商務(wù)的用戶情緒識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202110682011.2
• 申請日: 2021-06-19
• 公開（公告）號: CN113392785A
• 公開（公告）日: 2021-09-14
• 發(fā)明（設(shè)計）人: 齊維維
• 申請（專利權(quán)）人: 齊維維
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08;G06T7/11;G06T7/33
• 代理公司: 深圳至誠化育知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44728
• 代理人: 劉英

1.一種應(yīng)用于電子商務(wù)的用戶情緒識別方法，其特征在于，包括：

云服務(wù)器獲取用戶微表情視頻，并對所述微表情視頻進(jìn)行預(yù)處理，獲取微表情圖像序列；

將所述微表情圖像序列進(jìn)行分割，分割為多張微表情子圖像，并將所述多張微表情子圖像的尺寸大小重設(shè)置為所述微表情圖像的尺寸大小；

構(gòu)建局部卷積神經(jīng)網(wǎng)絡(luò)L-CNN網(wǎng)絡(luò)模型和全局卷積神經(jīng)網(wǎng)絡(luò)G-CNN網(wǎng)絡(luò)模型，利用所述L-CNN模型從所述多張微表情子圖像中提取局部特征，利用所述G-CNN模型從所述用戶微表情圖像序列中提取全局特征；

利用softmax分類器將所述提取出的局部特征與全局特征進(jìn)行分類訓(xùn)練，并獲取所述微表情的分類結(jié)果，所述分類結(jié)果與所述用戶的情緒一一對應(yīng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述L-CNN模型和所述G-CNN模型均為Xception網(wǎng)絡(luò)結(jié)構(gòu)，則所述利用所述L-CNN模型從所述多張微表情子圖像中提取局部特征，利用所述G-CNN模型從所述用戶微表情圖像序列中提取全局特征，包括：

利用所述L-CNN模型從所述多張微表情子圖像中用戶眼部及嘴角的局部特征，利用所述G-CNN模型從所述用戶微表情圖像序列中提取用戶整體人臉特征。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用softmax分類器將所述提取出的局部特征與全局特征進(jìn)行分類訓(xùn)練，包括：

將所述提取出的局部特征與全局特征進(jìn)行乘法加權(quán)至全連接層，并輸入至所述softmax分類器。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，將所述微表情圖像序列進(jìn)行分割，分割為多張微表情子圖像，包括：

將所述微表情圖像序列按照隨機(jī)比例進(jìn)行分割，或，

將所述微表情圖像序列按照局部特征分布情況進(jìn)行定向分割。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述微表情圖像序列按照隨機(jī)比例進(jìn)行分割，包括：

分別以所述微表情圖像的四個角為分割原點(diǎn)，隨機(jī)設(shè)置四個分割子圖像，且所述四個隨機(jī)分割子圖像的面積之和為所述微表情圖像的面積，所述四個分割子圖像為矩形或異型圖像。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述微表情圖像序列按照局部特征分布情況進(jìn)行定向分割，包括：

采用LBP-TOP算子提取所述微表情圖像的全局特征，并獲取所述全局特征在所述微表情圖像中的位置分布情況；

按照全局特征分布均衡原則切分所述微表情圖像為多個微表情子圖像。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，對所述微表情視頻進(jìn)行預(yù)處理，獲取微表情圖像序列，包括：

對所述微表情視頻進(jìn)行數(shù)據(jù)去噪；

將去噪處理后的數(shù)據(jù)進(jìn)行面部配準(zhǔn)；

采用時間插值TIM算法對所述面部配準(zhǔn)后的微表情視頻進(jìn)行處理，獲取插值后的微表情圖像序列；

通過歐拉視頻放大EVM算法對所述微表情圖像序列進(jìn)行動作放大，確定動作放大后的微表情圖像序列。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述采用時間插值TIM算法對所述面部配準(zhǔn)后的微表情視頻進(jìn)行處理，獲取插值后的微表情圖像序列，包括：

將所述微表情視頻設(shè)置為微表情圖；

使用圖嵌入算法將所述微表情圖嵌入到低維流形中；

在所述低維流形中代入圖像向量，計算出高維的連續(xù)曲線；

在所述連續(xù)曲線上重采樣，獲取所述插值后的微表情圖像序列。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述通過歐拉視頻放大EVM算法對所述微表情圖像序列進(jìn)行動作放大，包括：

使用帶通濾波器對所述微表情圖像序列進(jìn)行濾波，獲得微表情動作頻率，并對該頻率的信號進(jìn)行放大。

10.一種裝置，其特征在于，包括存儲器和處理器，所述存儲器上存儲有計算機(jī)可執(zhí)行指令，所述處理器運(yùn)行所述存儲器上的計算機(jī)可執(zhí)行指令時實(shí)現(xiàn)權(quán)利要求1至9任一項(xiàng)所述的方法。