[發(fā)明專利]基于深度學(xué)習(xí)的智能預(yù)警方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110381949.0
• 申請(qǐng)日: 2021-04-09
• 公開（公告）號(hào): CN113191209A
• 公開（公告）日: 2021-07-30
• 發(fā)明（設(shè)計(jì)）人: 林高鋒;楊一帆;柯德勁;郭濟(jì)
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06Q50/26;G08B21/02;G10L15/02;G10L15/04;G10L15/06;G10L15/26;G10L25/63;G06N20/00
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

在群眾向地方政府反映自己述求的過程中，群眾可能因?yàn)楣ぷ魅藛T對(duì)自己?jiǎn)栴}的受理感到不滿，從而出現(xiàn)情緒激動(dòng)的現(xiàn)象，對(duì)國(guó)家公務(wù)人員造成傷害，產(chǎn)生社會(huì)矛盾。目前，為工作人員提供智能安全預(yù)警的方法還很少。本發(fā)明提出一種基于深度神經(jīng)網(wǎng)絡(luò)的智能安全預(yù)警方法。方法基于語(yǔ)音和視頻對(duì)群眾進(jìn)行監(jiān)控，通過語(yǔ)音關(guān)鍵詞和視頻行檢測(cè)，再基于融合算法將兩部分結(jié)果進(jìn)行綜合判斷，給出最后危險(xiǎn)等級(jí)。本發(fā)明讓外部保安人員及時(shí)發(fā)現(xiàn)群眾是否出現(xiàn)負(fù)面情緒并給出危險(xiǎn)行為等級(jí)，以便及時(shí)采取物理保護(hù)措施，避免人員受傷，提高來訪效率，維護(hù)社會(huì)穩(wěn)定。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)的智能預(yù)警方法，能讓工作人員及時(shí)發(fā)現(xiàn)群眾是否出現(xiàn)負(fù)面情緒并給出危險(xiǎn)行為等級(jí)，提前做好保護(hù)措施，避免人員受傷。

背景技術(shù)

關(guān)鍵詞識(shí)別和異常行為檢測(cè)技術(shù)是深度學(xué)習(xí)領(lǐng)域應(yīng)用比較廣泛的一項(xiàng)技術(shù)，它是指通過提取語(yǔ)音中的關(guān)鍵詞以及分析視頻圖像中人民的骨架移動(dòng)距離來判斷人民情緒不滿或者做出危險(xiǎn)動(dòng)作。

深度學(xué)習(xí)也已經(jīng)廣泛應(yīng)用于司法案件處理。關(guān)鍵詞識(shí)別和異常行為檢測(cè)與司法案件處理結(jié)合密切，為工作人員提供安全保障。群眾述求案件受理是司法領(lǐng)域的一個(gè)重要分支，案件復(fù)雜度和數(shù)量也在不斷增加，但是關(guān)鍵詞識(shí)別和異常行為檢測(cè)技術(shù)卻應(yīng)用較少。

因此針對(duì)上述問題，研究利用關(guān)鍵詞識(shí)別和異常行為檢測(cè)等深度學(xué)習(xí)技術(shù)，提供智能預(yù)警方法，讓工作人員及時(shí)發(fā)現(xiàn)群眾是否出現(xiàn)負(fù)面情緒并給出危險(xiǎn)行為等級(jí)，示意安保人員做好防范措施。避免人員受傷，提高群眾述求案件受理效率，維護(hù)社會(huì)穩(wěn)定。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供一種基于深度神經(jīng)網(wǎng)絡(luò)的智能預(yù)警方法，能讓工作人員及時(shí)發(fā)現(xiàn)群眾是否出現(xiàn)負(fù)面情緒并給出危險(xiǎn)行為等級(jí)，提前做好保護(hù)措施，避免人員受傷。

本發(fā)明提供一種智能預(yù)警方法，所述智能預(yù)警方法的特征在于：將關(guān)鍵詞識(shí)別與異常行為檢測(cè)應(yīng)用于群眾，該方法可以分為三個(gè)部分：關(guān)鍵詞識(shí)別、異常行為檢測(cè)和融合結(jié)果輸出。

所述關(guān)鍵詞識(shí)別，提取群眾語(yǔ)音中的關(guān)鍵詞，首先對(duì)語(yǔ)音預(yù)測(cè)量并進(jìn)行分割，接著提取音頻段中的音節(jié)參數(shù)特征，作為關(guān)鍵詞識(shí)別模塊的輸入，輸出關(guān)鍵詞識(shí)別結(jié)果。

所述異常行為檢測(cè)，通過攝像頭對(duì)群眾述求過程進(jìn)行視頻圖像采集，然后識(shí)別和定位出圖像中所有群眾的骨骼關(guān)鍵點(diǎn)，對(duì)骨架距離進(jìn)行計(jì)算。使用視頻動(dòng)作識(shí)別相關(guān)算法實(shí)現(xiàn)異常行為檢測(cè)。

所述融合結(jié)果輸出，對(duì)于融合分類器所得預(yù)測(cè)結(jié)果進(jìn)行聚合，即對(duì)每一個(gè)預(yù)測(cè)結(jié)果進(jìn)行投票，票數(shù)最多的為最終的預(yù)測(cè)結(jié)果。

所述關(guān)鍵詞，是指粗口、臟話、人身攻擊、帶有負(fù)面情緒的詞匯。

所述關(guān)鍵詞識(shí)別模塊，提取訓(xùn)練數(shù)據(jù)源中語(yǔ)音的音節(jié)狀態(tài)轉(zhuǎn)移矩陣，將其作為網(wǎng)絡(luò)輸入訓(xùn)練第一個(gè)編碼層的網(wǎng)絡(luò)參數(shù)，并將訓(xùn)練好的編碼數(shù)據(jù)作為第一編碼層的輸出。用同樣的方法訓(xùn)練更多層的網(wǎng)絡(luò)參數(shù)，生成全局網(wǎng)絡(luò)。計(jì)算整個(gè)網(wǎng)絡(luò)的誤差函數(shù)及各個(gè)參數(shù)的偏導(dǎo)值，不斷更新權(quán)值，從而提高分類器的精準(zhǔn)性，得到最終模型。

所述視頻動(dòng)作識(shí)別相關(guān)算法，輸入數(shù)據(jù)源中的圖形數(shù)據(jù)，經(jīng)過多次卷積和池化處理得到特征向量。將特征向量傳入全連接層，得出分類識(shí)別的結(jié)果。如果當(dāng)前輸出的結(jié)果與我們的期望值相符，固定權(quán)值和閾值；如果當(dāng)前輸出的結(jié)果與我們的期望值不相符，則進(jìn)行反向傳播過程。求出結(jié)果與期望值的誤差，再將誤差一層一層的返回，計(jì)算出每一層的誤差，然后進(jìn)行權(quán)值更新。最終確定權(quán)值和閾值，得到一個(gè)適宜的網(wǎng)絡(luò)。

所述融合分類器，將數(shù)據(jù)源劃分為多個(gè)子集，根據(jù)數(shù)據(jù)源特點(diǎn)選擇一種機(jī)器學(xué)習(xí)算法作為訓(xùn)練算法，但是在不同的隨機(jī)子集上進(jìn)行訓(xùn)練。得到多個(gè)分類器，組成融合分類器，給出群眾是否出現(xiàn)負(fù)面情緒、危險(xiǎn)行為等級(jí)信息。

所述數(shù)據(jù)源，第一部分是群眾述求案件中出現(xiàn)的關(guān)鍵詞，比如臟話或者情緒激動(dòng)的詞匯；第二部分是異常行為數(shù)據(jù)集，使用國(guó)際上流行的USCD異常檢測(cè)數(shù)據(jù)庫(kù)，該數(shù)據(jù)集主要針對(duì)人群中個(gè)體行為的識(shí)別研究。