[發(fā)明專利]一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法

在審

• 申請?zhí)枺?/td>: 201810456874.6
• 申請日: 2018-05-14
• 公開（公告）號: CN108630230A
• 公開（公告）日: 2018-10-09
• 發(fā)明（設計）人: 葉亮;李月;石碩;李卓明;沙學軍;孟維曉;石紀福;王樂
• 申請（專利權(quán)）人: 哈爾濱工業(yè)大學
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/30;G10L25/24;G06N3/04;G06K9/00
• 代理公司: 哈爾濱市松花江專利商標事務所 23109
• 代理人: 劉士寶

1.一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法，其特征是：

在校園內(nèi)的每個人體身上佩戴一個個三軸陀螺儀和一個麥克風，在一個周期下，對于每個人體的檢測，均由以下步驟實現(xiàn)：同時執(zhí)行步驟一和步驟二；

步驟一、在起始時間為時間為t0：、終止時間為t1的時間周期內(nèi)，采用三軸加速度計和三軸陀螺儀采集人體三軸加速度數(shù)據(jù)，并對所采集的三維加速度數(shù)據(jù)提取人體的23個時域特征和18個頻域特征，并對所提取特征進行篩選，得到11個時頻域動作特征：

步驟二、在起始時間為時間為t0：、終止時間為t1的時間周期內(nèi)，，采用麥克風與步驟一同步采集人體的語音數(shù)據(jù)，共提取12個MFCC特征、12個一階差分MFCC特征、12個二階MFCC特征和短時能量特征，并進行篩選得到16個語音特征

步驟三、融合步驟一得到的11個時頻域動作特征和步驟二得到的16個語音特征，獲得融合特征并用LDA(線性判別分析)算法對融合特征進行降維，得到8維特征向量；

步驟四、將所得8維特征向量集合劃分為訓練集和測試集，用分類器進行分類，用訓練集訓練反向傳播神經(jīng)網(wǎng)絡BPNN，

步驟五、采用三軸加速度計和三軸陀螺儀采集人體三軸加速度數(shù)據(jù)，并利用步驟四、訓練后的反向傳播神經(jīng)網(wǎng)絡BPNN進行分類，實現(xiàn)基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測。

2.根據(jù)權(quán)利要求1所述的一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法，其特征在于步驟一中，對所提取特征進行篩選采用Wrapper算法實現(xiàn)。

3.根據(jù)權(quán)利要求1所述的一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法，其特征在于步驟一中，得到的11個時頻域動作特征分別為：Energy_fy、MAD_fGyro、MAD_fHori、Max_diff(Gyro)、Max_diff(y)、Max_Gyro、Mean_fHori、Mean_Gyro、VarDir、ZCR_x和ZCR_y。

4.根據(jù)權(quán)利要求1所述的一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法，其特征在于步驟二中，對提取的12個MFCC特征、12個一階差分MFCC特征、12個二階MFCC特征和短時能量特征，并進行篩選得到16個語音特征采用Wrapper算法實現(xiàn)。

5.根據(jù)權(quán)利要求1所述的一種基于動作語音數(shù)據(jù)聯(lián)合識別的校園霸凌檢測方法，其特征在于步驟二中，得到的16個語音特征分別為：MFCC：mfcc₁,mfcc₂,mfcc₄,mfcc₅,mfcc₉,mfcc₁₀,mfcc₁₁；一階差分MFCC：dmfcc₃,dmfcc₄,dmfcc₆,dmfcc₇,dmfcc₁₁；二階差分MFCC：ddmfcc₄,ddmfcc₅、ddmfcc₁₂和短時能量。