[發(fā)明專利]場(chǎng)景識(shí)別方法、裝置、存儲(chǔ)介質(zhì)及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201910731749.6
• 申請(qǐng)日: 2019-08-08
• 公開(kāi)（公告）號(hào): CN110473568B
• 公開(kāi)（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 宋天龍
• 申請(qǐng)（專利權(quán)）人: OPPO廣東移動(dòng)通信有限公司;上海瑾盛通信科技有限公司
• 主分類(lèi)號(hào): G10L25/51
• 分類(lèi)號(hào): G10L25/51;G10L25/30;G10L25/24;G10L25/21
• 代理公司: 深圳翼盛智成知識(shí)產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 黃威

1.一種場(chǎng)景識(shí)別方法，應(yīng)用于電子設(shè)備，其特征在于，所述電子設(shè)備包括兩個(gè)麥克風(fēng)，所述場(chǎng)景識(shí)別方法包括：

通過(guò)所述兩個(gè)麥克風(fēng)獲取多個(gè)不同類(lèi)型已知場(chǎng)景的雙通道音頻信號(hào)；

提取各類(lèi)型已知場(chǎng)景的雙通道音頻信號(hào)的梅爾頻率倒譜系數(shù)，構(gòu)建對(duì)應(yīng)所述多個(gè)不同類(lèi)型已知場(chǎng)景的第一樣本集，構(gòu)建殘差卷積神經(jīng)網(wǎng)絡(luò)模型，并根據(jù)所述第一樣本集對(duì)所述殘差卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到第一場(chǎng)景分類(lèi)模型；

分別將所述多個(gè)不同類(lèi)型已知場(chǎng)景的雙通道音頻信號(hào)合成為單通道音頻信號(hào)，提取各類(lèi)型已知場(chǎng)景合成得到的單通道音頻信號(hào)的各通道能量正則化特征，構(gòu)建對(duì)應(yīng)所述多個(gè)不同類(lèi)型已知場(chǎng)景的第二樣本集，構(gòu)建輕量化卷積神經(jīng)網(wǎng)絡(luò)模型，并對(duì)所述輕量化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行優(yōu)化處理，得到優(yōu)化后的輕量化卷積神經(jīng)網(wǎng)絡(luò)模型，根據(jù)所述第二樣本集對(duì)所述優(yōu)化后的輕量化卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到第二場(chǎng)景分類(lèi)模型；

通過(guò)所述兩個(gè)麥克風(fēng)對(duì)待識(shí)別場(chǎng)景進(jìn)行音頻采集，得到所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)；

按照第一預(yù)設(shè)特征提取策略提取所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)的第一聲學(xué)特征，并調(diào)用所述第一場(chǎng)景分類(lèi)模型基于所述第一聲學(xué)特征進(jìn)行場(chǎng)景分類(lèi)，得到第一候選場(chǎng)景分類(lèi)結(jié)果；

對(duì)所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)進(jìn)行音頻合成處理，得到所述待識(shí)別場(chǎng)景的單通道音頻信號(hào)；

按照第二預(yù)設(shè)特征提取策略提取所述待識(shí)別場(chǎng)景的單通道音頻信號(hào)的第二聲學(xué)特征，并調(diào)用所述第二場(chǎng)景分類(lèi)模型基于所述第二聲學(xué)特征進(jìn)行場(chǎng)景分類(lèi)，得到第二候選場(chǎng)景分類(lèi)結(jié)果；

根據(jù)所述第一候選場(chǎng)景分類(lèi)結(jié)果以及所述第二候選場(chǎng)景分類(lèi)結(jié)果，獲取所述待識(shí)別場(chǎng)景的目標(biāo)場(chǎng)景分類(lèi)結(jié)果。

2.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，所述對(duì)所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)進(jìn)行音頻合成處理，得到單通道音頻信號(hào)，包括：

按照預(yù)設(shè)波束形成算法將所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)合成得到單通道音頻信號(hào)。

3.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，所述根據(jù)所述第一候選場(chǎng)景分類(lèi)結(jié)果以及所述第二候選場(chǎng)景分類(lèi)結(jié)果，獲取所述待識(shí)別場(chǎng)景的目標(biāo)場(chǎng)景分類(lèi)結(jié)果，包括：

判斷所述第一候選場(chǎng)景分類(lèi)結(jié)果和所述第二候選場(chǎng)景分類(lèi)是否為相同的場(chǎng)景分類(lèi)結(jié)果；

若是，則將所述相同的場(chǎng)景分類(lèi)結(jié)果設(shè)為所述目標(biāo)場(chǎng)景分類(lèi)結(jié)果。

4.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，所述按照第一預(yù)設(shè)特征提取策略提取所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)的第一聲學(xué)特征，并調(diào)用預(yù)先訓(xùn)練的第一場(chǎng)景分類(lèi)模型基于所述第一聲學(xué)特征進(jìn)行場(chǎng)景分類(lèi)，得到第一候選場(chǎng)景分類(lèi)結(jié)果，包括：

提取所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)的梅爾頻率倒譜系數(shù)，設(shè)為所述第一聲學(xué)特征；

將提取到的所述待識(shí)別場(chǎng)景的雙通道音頻信號(hào)的梅爾頻率倒譜系數(shù)輸入所述第一場(chǎng)景分類(lèi)模型，得到所述第一場(chǎng)景分類(lèi)模型輸出的多個(gè)場(chǎng)景分類(lèi)結(jié)果及其對(duì)應(yīng)的概率值；

當(dāng)所述第一場(chǎng)景分類(lèi)模型輸出的最大概率值達(dá)到預(yù)設(shè)概率值時(shí)，將所述第一場(chǎng)景分類(lèi)模型輸出的最大概率值對(duì)應(yīng)的場(chǎng)景分類(lèi)結(jié)果設(shè)為第一候選場(chǎng)景分類(lèi)結(jié)果。

5.根據(jù)權(quán)利要求1所述的場(chǎng)景識(shí)別方法，其特征在于，按照第二預(yù)設(shè)特征提取策略提取所述待識(shí)別場(chǎng)景的單通道音頻信號(hào)的第二聲學(xué)特征，并調(diào)用預(yù)先訓(xùn)練的第二場(chǎng)景分類(lèi)模型基于所述第二聲學(xué)特征進(jìn)行場(chǎng)景分類(lèi)，得到第二候選場(chǎng)景分類(lèi)結(jié)果，包括：

提取所述待識(shí)別場(chǎng)景的單通道音頻信號(hào)的各通道能量正則化特征，將所述待識(shí)別場(chǎng)景的單通道音頻信號(hào)的各通道能量正則化特征設(shè)為所述第二聲學(xué)特征；

將所述單通道音頻信號(hào)的各通道能量正則化特征輸入所述第二場(chǎng)景分類(lèi)模型，得到所述第二場(chǎng)景分類(lèi)模型輸出的多個(gè)場(chǎng)景分類(lèi)結(jié)果及其對(duì)應(yīng)的概率值；

當(dāng)所述第二場(chǎng)景分類(lèi)模型輸出的最大概率值達(dá)到預(yù)設(shè)概率值時(shí)，將所述第二場(chǎng)景分類(lèi)模型輸出的最大概率值對(duì)應(yīng)的場(chǎng)景分類(lèi)結(jié)果設(shè)為所述第二候選場(chǎng)景分類(lèi)結(jié)果。