[發明專利]一種多源異構數據的多維度卷積神經網絡學習者建模方法

有效

• 申請號: 202011355627.0
• 申請日: 2020-11-27
• 公開（公告）號: CN112529054B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 楊宗凱;廖盛斌;王小豐
• 申請（專利權）人: 華中師范大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/084;G06F18/24;G06N3/0464
• 代理公司: 武漢東喻專利代理事務所(普通合伙) 42224
• 代理人: 李佑宏

1.一種多源異構數據的多維度卷積神經網絡學習者建模方法，其特征在于，所述方法包括：

(1)同步采集學習者的眼動數據、語音數據以及視頻數據；

(2)對所述眼動數據、語音數據以及視頻數據進行預處理，分別得到所述眼動數據對應的熱點圖、所述語音數據對應的聲譜圖、所述視頻數據對應的人體姿態圖像；

(3)基于所述學習者的認知狀態分類對所述熱點圖設置標簽，基于所述學習者的互動狀態分類對所述聲譜圖設置標簽，基于所述學習者的情感狀態分類對所述人體姿態圖像設置標簽；

(4)訓練多維度卷積神經網絡，將待識別的所述熱點圖、聲譜圖以及人體姿態圖像分別輸入結構相同的所述多維度卷積神經網絡進行特征提取，分別得到輸出分類結果；

所述熱點圖、聲譜圖以及人體姿態圖像是一一對應的序列化數據；

步驟(4)中所述輸入結構相同的所述多維度卷積神經網絡進行特征提取，包括：

將所述序列化數據按時間順序平均分為K段{S₁,S₂,S₃……S_K}；

對每一段所述序列化數據等概率隨機采樣N個圖像，將K*N個數據作為輸入數據輸入至多維度卷積神經網絡并按照下述公式進行處理：

m(T₁,T₂,T₃……T_K)＝(f(T₁,W),f(T₂,W),f(T₃,W)……f(T_K,W))

M(T₁,T₂,T₃……T_K)＝H(F(m(T₁,T₂,T₃……T_K),W₁))

其中，m(T₁,T₂,T₃……T_K)表示二維卷積神經網絡對數據的提取，T₁,T₂,T₃……T_K是N個圖片序列，每一個序列都是從段{S₁,S₂,S₃……S_K}隨機采樣得到，f(T_K,W)表示參數為W的二維卷積層對數據進行特征提取，M(T₁,T₂,T₃……T_K)表示網絡最終的預測結果，F(m(T₁,T₂,T₃……T_K)，W₁)表示參數為W₁的三維卷積神經網絡對數據進行特征提取，H表示SoftMax函數；

步驟(4)中所述訓練多維度卷積神經網絡，包括：

通過2D網絡和3D網絡組成多維度卷積神經網絡，所述多維度卷積神經網絡包括輸入層、二維卷積層、三維卷積層、最大池化層、平均池化層、BatchNorm層和SoftMax分類層，所述BatchNorm層在每個卷積層之后；

所述輸入層將樣本熱點圖、樣本聲譜圖或樣本人體姿態圖像輸入所述二維卷積層和最大池化層，得到所輸入數據的靜態特征；

將所述靜態特征按時間維度展開后輸入到所述三維卷積層和最大池化層,其中最后的池化層為平均池化層，得到所輸入數據的動態信息；

計算所述SoftMax分類層輸出的分類結果與實際類別之間的誤差，依據計算得到的誤差反向傳播計算每一層參數的梯度，依據所述梯度對連接每一層的參數進行調整，循環所述誤差反向傳播直到每一層參數達到分類輸出誤差極小點，停止迭代；

(5)結合三個所述輸出分類結果進行時空多維度特征建模分析。

2.根據權利要求1所述的方法，其特征在于，所述誤差的計算方法為：

其中，l(x_i)表示第i個輸入數據的標簽值，p(x_i)是第i個輸入數據經過卷積網絡后所得到的預測值，Loss(x_i)表示損失函數。