[發(fā)明專利]基于寬帶多通道毫米波雷達(dá)的唇語(yǔ)識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010637432.9
• 申請(qǐng)日: 2020-07-03
• 公開(kāi)（公告）號(hào): CN111856422A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 王虹現(xiàn);王開(kāi)放;張磊
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G01S7/41
• 分類號(hào): G01S7/41;G01S13/89
• 代理公司: 西安睿通知識(shí)產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 61218
• 代理人: 惠文軒

本發(fā)明公開(kāi)了一種基于寬帶多通道毫米波雷達(dá)的唇語(yǔ)識(shí)別方法，包括步驟：毫米波雷達(dá)獲取待識(shí)別目標(biāo)的回波信號(hào)，并對(duì)其進(jìn)行脈壓處理，得到運(yùn)動(dòng)目標(biāo)的距離信息；對(duì)脈壓結(jié)果進(jìn)行二線對(duì)消，消除靜止場(chǎng)景信號(hào)分量；對(duì)目標(biāo)的嘴唇動(dòng)作回波信號(hào)進(jìn)行微多普勒分析；獲取訓(xùn)練集，基于CNN神經(jīng)網(wǎng)絡(luò)建立唇語(yǔ)識(shí)別網(wǎng)絡(luò)模型；采用訓(xùn)練集對(duì)唇語(yǔ)識(shí)別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練；將待識(shí)別目標(biāo)的微多普勒?qǐng)D輸入訓(xùn)練后的唇語(yǔ)識(shí)別網(wǎng)絡(luò)，輸出唇語(yǔ)識(shí)別結(jié)果。本發(fā)明應(yīng)用毫米波雷達(dá)檢測(cè)唇語(yǔ)動(dòng)作，可以應(yīng)用到高噪聲弱光線的特殊場(chǎng)景下；利用毫米波雷達(dá)來(lái)檢測(cè)人發(fā)音時(shí)嘴唇動(dòng)作的反射信號(hào)生成的微多普勒特征信息來(lái)進(jìn)行識(shí)別，實(shí)現(xiàn)微小動(dòng)作的準(zhǔn)確識(shí)別。

技術(shù)領(lǐng)域

本發(fā)明涉及唇語(yǔ)識(shí)別技術(shù)領(lǐng)域，具體涉及基于寬帶多通道毫米波雷達(dá)的唇語(yǔ)識(shí)別方法。

背景技術(shù)

唇語(yǔ)識(shí)別在動(dòng)畫(huà)電影的口型合成、身份認(rèn)證、安全分析、語(yǔ)音識(shí)別輔助、單詞識(shí)別等領(lǐng)域有著重要應(yīng)用。對(duì)于一些環(huán)境較嘈雜，噪聲干擾較嚴(yán)重的場(chǎng)景下也能很好對(duì)語(yǔ)音進(jìn)行識(shí)別。當(dāng)人說(shuō)話出現(xiàn)交叉等復(fù)雜環(huán)境時(shí)，就可以在語(yǔ)音識(shí)別中結(jié)合唇語(yǔ)識(shí)別技術(shù)，從而使得在不同環(huán)境下的語(yǔ)音識(shí)別率較高。對(duì)于聽(tīng)說(shuō)障礙的人士，唇語(yǔ)識(shí)別可以很好地幫助他們進(jìn)行交流。特別的，當(dāng)光照條件和天氣條件惡劣的緊急狀況情況下，現(xiàn)有的唇語(yǔ)識(shí)別技術(shù)無(wú)法對(duì)人們發(fā)出的緊急求救信息進(jìn)行準(zhǔn)確識(shí)別。

近些年來(lái)，各種技術(shù)在唇語(yǔ)識(shí)別領(lǐng)域得到了廣泛的應(yīng)用。許多基于計(jì)算機(jī)視覺(jué)的光學(xué)技術(shù)被廣泛研究。然而，計(jì)算機(jī)視覺(jué)圖像識(shí)別不僅需要大量的訓(xùn)練樣本數(shù)據(jù)，還需要較強(qiáng)的計(jì)算能力。同時(shí)，本發(fā)明考慮由于光照條件的差異，研究如何在惡劣環(huán)境下(如夜間黑暗或者陽(yáng)光直射下)提高識(shí)別的可靠性。最新的研究表明，除了傳統(tǒng)的光學(xué)信號(hào)，WiFi信號(hào)開(kāi)始被用于唇語(yǔ)識(shí)別。然而，WiFi信號(hào)受識(shí)別范圍窄，識(shí)別精度低的限制。

與光學(xué)應(yīng)用不同，毫米波雷達(dá)的性能不受照明條件和傳感器距離的限制，此外，毫米波雷達(dá)還有一定穿透能力。因此，毫米波雷達(dá)可以應(yīng)用到各種復(fù)雜環(huán)境下的唇語(yǔ)識(shí)別。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的問(wèn)題，本發(fā)明的目的在于提供一種基于寬帶多通道毫米波雷達(dá)的唇語(yǔ)識(shí)別方法，本發(fā)明應(yīng)用毫米波雷達(dá)檢測(cè)唇語(yǔ)動(dòng)作，可以應(yīng)用到高噪聲弱光線的特殊場(chǎng)景下；利用毫米波雷達(dá)來(lái)檢測(cè)人發(fā)音時(shí)嘴唇動(dòng)作的反射信號(hào)生成的微多普勒特征信息來(lái)進(jìn)行識(shí)別，實(shí)現(xiàn)微小動(dòng)作的準(zhǔn)確識(shí)別。

為了達(dá)到上述目的，本發(fā)明采用以下技術(shù)方案予以實(shí)現(xiàn)。

基于寬帶多通道毫米波雷達(dá)的唇語(yǔ)識(shí)別方法，包括以下步驟：

步驟1，毫米波雷達(dá)獲取待識(shí)別目標(biāo)的回波信號(hào)，對(duì)待識(shí)別目標(biāo)的回波信號(hào)進(jìn)行脈沖壓縮處理，得到脈壓后的回波信號(hào)及運(yùn)動(dòng)目標(biāo)的距離信息；

步驟2，對(duì)所述脈壓后的回波信號(hào)進(jìn)行二線對(duì)消，以消除靜止場(chǎng)景對(duì)應(yīng)的信號(hào)分量，得到目標(biāo)的嘴唇動(dòng)作回波信號(hào)；

步驟3，根據(jù)運(yùn)動(dòng)目標(biāo)的距離信息，在運(yùn)動(dòng)目標(biāo)的距離范圍內(nèi)的目標(biāo)的嘴唇動(dòng)作回波信號(hào)進(jìn)行微多普勒分析，得到待識(shí)別目標(biāo)的嘴唇動(dòng)作的微多普勒?qǐng)D；

步驟4，獲取訓(xùn)練集，基于CNN神經(jīng)網(wǎng)絡(luò)建立唇語(yǔ)識(shí)別網(wǎng)絡(luò)模型；

步驟5，采用訓(xùn)練集對(duì)唇語(yǔ)識(shí)別網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練后的唇語(yǔ)識(shí)別網(wǎng)絡(luò)；

步驟6，將待識(shí)別目標(biāo)的嘴唇動(dòng)作的微多普勒?qǐng)D輸入訓(xùn)練后的唇語(yǔ)識(shí)別網(wǎng)絡(luò)，對(duì)待識(shí)別目標(biāo)進(jìn)行唇語(yǔ)識(shí)別分類，輸出唇語(yǔ)識(shí)別結(jié)果。

進(jìn)一步地，所述對(duì)待識(shí)別目標(biāo)的回波信號(hào)進(jìn)行脈沖壓縮處理，具體為：

(1.1)設(shè)空間內(nèi)待識(shí)別目標(biāo)相對(duì)于雷達(dá)的距離為R，則待識(shí)別目標(biāo)的回波信號(hào)，即接收信號(hào)表示為：

其中，j為虛數(shù)單位，f_c為雷達(dá)的起始頻率，γ為調(diào)頻斜率，t為慢時(shí)間，為快時(shí)間，即一個(gè)發(fā)射波形內(nèi)的時(shí)間；R_(t)為t時(shí)刻目標(biāo)到參考接收天線的距離，c為光速；