[發(fā)明專利]一種面向公交車的乘客對(duì)司機(jī)的暴力行為識(shí)別系統(tǒng)與方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011388004.3
• 申請(qǐng)日: 2020-12-01
• 公開（公告）號(hào): CN112766035B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 王熙柱;李梓平;舒琳;黃毓敏;陳楚鈞;陳柏伶;趙源發(fā)
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V20/59
• 分類號(hào): G06V20/59;G06V20/40;G06V20/52;G06V40/20;G06V10/80;G06V10/82;G10L15/22;H04N7/18
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

1.一種面向公交車的乘客對(duì)司機(jī)的暴力行為識(shí)別方法，其特征在于，包括以下步驟：

S1、通過視頻語(yǔ)音數(shù)據(jù)采集模型同步采集視頻流信息和語(yǔ)音流信息；

S2、利用視頻流識(shí)別模型中的視頻流特征提取模型對(duì)采集的視頻流信息進(jìn)行處理，并提取光流和RGB特征信息，獲取帶有時(shí)間空間信息的雙流圖，將雙流圖輸入視頻流識(shí)別模型中的動(dòng)作識(shí)別模型進(jìn)行識(shí)別，獲取動(dòng)作識(shí)別結(jié)果；

S3、利用語(yǔ)音流識(shí)別模型中的音頻流特征提取模型對(duì)采集的語(yǔ)音流信息進(jìn)行人聲檢測(cè)并進(jìn)行音頻波形轉(zhuǎn)換為頻譜圖的預(yù)處理，提取包含色譜圖、梅爾頻率倒譜系數(shù)的頻譜特征，輸入語(yǔ)音流識(shí)別模型中的語(yǔ)音識(shí)別模型，獲取語(yǔ)音識(shí)別結(jié)果；

S4、將動(dòng)作識(shí)別結(jié)果和語(yǔ)音識(shí)別結(jié)果輸入決策融合模型，獲取整個(gè)場(chǎng)景的識(shí)別結(jié)果；

S5、對(duì)整個(gè)場(chǎng)景的識(shí)別結(jié)果進(jìn)行判別，若出現(xiàn)異常狀況，則發(fā)出警報(bào)；若為正常情況，則返回步驟S1繼續(xù)監(jiān)測(cè)場(chǎng)景狀況；

步驟S2的帶有時(shí)間空間信息雙流圖的獲取的具體步驟如下：

S21、利用每連續(xù)的兩幀圖像之間通過稠密光流法獲取稠密光流信息；

S22、將獲取的光流信息疊加成為包含時(shí)間信息的光流棧；光流信息疊加成為光流棧的過程為具體過程為：利用每相鄰兩幀計(jì)算一組光流信息，根據(jù)運(yùn)動(dòng)的區(qū)域計(jì)算出變化值delta，非運(yùn)動(dòng)的區(qū)域變化值為0；若為水平方向運(yùn)動(dòng)，則獲得的相鄰幀光流信息格式為M＝[0,0,…,delta_n,…,0]，其中，delta_m為一個(gè)實(shí)數(shù)，表示在位置m上發(fā)生運(yùn)動(dòng)；連續(xù)的光流信息為相鄰的，即M＝[0,0,…,delta_m,…,0]的下一次光流信息為M_next＝[0,0,…,delta_m+1,…,0]，即n幀之間有n-1幀光流信息，其中，delta_m+1為一個(gè)實(shí)數(shù)，表明在位置m+1上發(fā)生的運(yùn)動(dòng)；疊加后為光流棧：

S23、將獲取的光流棧疊加到含有空間信息的末幀灰度圖上面，獲取融合的包含場(chǎng)景的空間時(shí)間信息的雙流圖；

動(dòng)作識(shí)別模型、語(yǔ)音識(shí)別模型及決策融合模型為神經(jīng)網(wǎng)絡(luò)模型；

動(dòng)作識(shí)別模型利用遷移學(xué)習(xí)的方法，使用Inception-v3網(wǎng)絡(luò)和Inception-v3的初始權(quán)重進(jìn)行再訓(xùn)練；

語(yǔ)音識(shí)別模型利用RNN神經(jīng)網(wǎng)絡(luò)；

決策融合模型利用后期融合的方法，在動(dòng)作識(shí)別模型輸出A_lever＝[p₀,p₁,p₂,p₃…p_i]，其中p_i為動(dòng)作識(shí)別中第i個(gè)類別的置信度；在語(yǔ)音識(shí)別模型輸出V_lever＝[q₀,q₁,q₂,q₃,q₄,q₅,q₆…q_i]，其中，q_i為語(yǔ)音識(shí)別中第i個(gè)類別的置信度；將動(dòng)作識(shí)別模型和語(yǔ)音識(shí)別模型輸出結(jié)果合并成一維矩陣：

[A_lever,V_lever]＝[p₀,p₁,p₂,p₃,p₄,q₀,q₁,q₂,q₃,q₄,q₅,q₆…q_i]

其中，[A_lever,V_lever]為融合層的輸入信號(hào)；

將[A_lever,V_lever]輸入兩層全連接層對(duì)動(dòng)作識(shí)別模型和語(yǔ)音識(shí)別模型進(jìn)行融合，輸出多個(gè)場(chǎng)景等級(jí)，即輸出矩陣o_lever＝[o₀,o₁,o₂,o₃…o_i]，其中，o_i為最終識(shí)別中第i個(gè)類別的置信度。

2.根據(jù)權(quán)利要求1所述的暴力行為識(shí)別方法，其特征在于，步驟S1的視頻語(yǔ)音數(shù)據(jù)采集模型的視頻流信息采集的角度是以司機(jī)為中心的視角。