[發(fā)明專利]結(jié)合音頻分析和視頻分析的欺詐識(shí)別方法、裝置及存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 201711252009.1
• 申請日: 2017-12-01
• 公開（公告）號: CN108053838B
• 公開（公告）日: 2019-10-11
• 發(fā)明（設(shè)計(jì)）人: 韋峰;徐國強(qiáng)
• 申請（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G06K9/00
• 代理公司: 深圳市沃德知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 于志光;郭夢霞

本發(fā)明提供一種結(jié)合音頻分析和視頻分析的欺詐識(shí)別方法、裝置及存儲(chǔ)介質(zhì)。該方法包括以下步驟：切割音視頻樣本，得到音視頻片段，為每個(gè)音視頻片段分配一個(gè)欺詐標(biāo)注；對每個(gè)音視頻片段進(jìn)行解碼和預(yù)處理，得到每個(gè)音視頻片段的音頻片段和視頻片段；從每個(gè)音頻片段和視頻片段中分別提取語音特征和表情特征；分別以各音頻片段的語音特征和各視頻片段的表情特征結(jié)合欺詐標(biāo)注訓(xùn)練支持向量機(jī)，得到語音分析模型和表情分析模型；采集待識(shí)別對象的音視頻數(shù)據(jù)；提取該音視頻數(shù)據(jù)的語音特征和表情特征；將該語音特征和表情特征分別輸入所述語音分析模型和表情分析模型，輸出該待識(shí)別對象的欺詐概率P1和P2；將P1、P2加權(quán)計(jì)算，得到待識(shí)別對象的欺詐識(shí)別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)信息處理技術(shù)領(lǐng)域，尤其涉及一種結(jié)合音頻分析和視頻分析的欺詐識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

目前，欺詐識(shí)別一般通過面審的方式實(shí)現(xiàn)，極度依賴分析人員的經(jīng)驗(yàn)和判斷，耗費(fèi)大量的時(shí)間和人力，分析結(jié)果往往不準(zhǔn)確客觀。也有利用專業(yè)的儀器設(shè)備，通過檢測呼吸、脈搏、血壓、皮膚電阻等一系列指標(biāo)判斷被測試人員有無欺詐嫌疑，但此類儀器設(shè)備通常價(jià)格昂貴且容易對被測試人員的人權(quán)構(gòu)成侵犯。

發(fā)明內(nèi)容

為解決現(xiàn)有技術(shù)存在的不足，本發(fā)明提供一種結(jié)合音頻分析和視頻分析的欺詐識(shí)別方法、裝置及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，通過分析待識(shí)別對象的音視頻數(shù)據(jù)，客觀、準(zhǔn)確地判斷待識(shí)別對象是否存在欺詐嫌疑。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種結(jié)合音頻分析和視頻分析的欺詐識(shí)別方法，應(yīng)用于電子裝置，該方法包括：

樣本準(zhǔn)備步驟：收集人物音視頻樣本，對音視頻樣本進(jìn)行切割，得到音視頻片段，為每個(gè)音視頻片段分配一個(gè)欺詐標(biāo)注，對每個(gè)音視頻片段進(jìn)行解碼和預(yù)處理，得到每個(gè)音視頻片段的音頻片段和視頻片段；

特征提取步驟：從每個(gè)音頻片段中提取語音特征，從每個(gè)視頻片段中提取表情特征；

模型訓(xùn)練步驟：以各音頻片段的語音特征和欺詐標(biāo)注為樣本數(shù)據(jù)，對第一支持向量機(jī)進(jìn)行訓(xùn)練，得到語音分析模型；以各視頻片段的表情特征和欺詐標(biāo)注為樣本數(shù)據(jù)，對第二支持向量機(jī)進(jìn)行訓(xùn)練，得到表情分析模型；

模型應(yīng)用步驟：采集待識(shí)別對象的音視頻數(shù)據(jù)，利用所述語音分析模型和表情分析模型對該音視頻數(shù)據(jù)進(jìn)行分析，輸出該待識(shí)別對象的音頻欺詐概率P1和視頻欺詐概率P2；及

加權(quán)計(jì)算步驟：根據(jù)所述語音分析模型和表情分析模型的權(quán)重將P1、P2加權(quán)計(jì)算，得到該待識(shí)別對象的欺詐識(shí)別結(jié)果。

優(yōu)選地，所述特征提取步驟中提取語音特征包括：

第一特征提取步驟：從每個(gè)音頻片段中提取低階音頻特征；

第二特征提取步驟：從各低階語音特征中提取動(dòng)態(tài)回歸系數(shù)，得到每個(gè)音頻片段的動(dòng)態(tài)音頻特征；

第三特征提取步驟：利用統(tǒng)計(jì)函數(shù)從所述低階音頻特征及動(dòng)態(tài)音頻特征中提取各音頻片段的高階音頻特征；及

篩選步驟：利用特征篩選算法從各音頻片段的高階音頻特征中篩選出高階音頻特征子集，將高階音頻特征子集作為各音頻片段的語音特征。

優(yōu)選地，所述低階音頻特征包括梅爾頻率倒譜系數(shù)、音高和過零率。

優(yōu)選地，所述特征提取步驟中提取表情特征包括：

低階特征提取步驟：從每個(gè)視頻片段中提取低階動(dòng)作特征；

高階特征構(gòu)造步驟：統(tǒng)計(jì)每個(gè)視頻片段中各低階動(dòng)作特征出現(xiàn)的次數(shù)及持續(xù)的時(shí)長，根據(jù)統(tǒng)計(jì)結(jié)果構(gòu)造各視頻片段的高階動(dòng)作特征；及

篩選步驟：利用特征篩選算法從各視頻片段的高階動(dòng)作特征中篩選出高階動(dòng)作特征子集，將高階動(dòng)作特征子集作為各視頻片段的表情特征。