[發明專利]基于寬帶多通道毫米波雷達的唇語識別方法

在審

• 申請號: 202010637432.9
• 申請日: 2020-07-03
• 公開（公告）號: CN111856422A
• 公開（公告）日: 2020-10-30
• 發明（設計）人: 王虹現;王開放;張磊
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G01S7/41
• 分類號: G01S7/41;G01S13/89
• 代理公司: 西安睿通知識產權代理事務所(特殊普通合伙) 61218
• 代理人: 惠文軒

1.基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，包括以下步驟：

步驟1，毫米波雷達獲取待識別目標的回波信號，對待識別目標的回波信號進行脈沖壓縮處理，得到脈壓后的回波信號及運動目標的距離信息；

步驟2，對所述脈壓后的回波信號進行二線對消，以消除靜止場景對應的信號分量，得到目標的嘴唇動作回波信號；

步驟3，根據運動目標的距離信息，在運動目標的距離范圍內的目標的嘴唇動作回波信號進行微多普勒分析，得到待識別目標的嘴唇動作的微多普勒圖；

步驟4，獲取訓練集，基于CNN神經網絡建立唇語識別網絡模型；

步驟5，采用訓練集對唇語識別網絡模型進行訓練，得到訓練后的唇語識別網絡；

步驟6，將待識別目標的嘴唇動作的微多普勒圖輸入訓練后的唇語識別網絡，對待識別目標進行唇語識別分類，輸出唇語識別結果。

2.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述對待識別目標的回波信號進行脈沖壓縮處理，具體為：

(1.1)設空間內待識別目標相對于雷達的距離為R，則待識別目標的回波信號，即接收信號表示為：

其中，j為虛數單位，f_c為雷達的起始頻率，γ為調頻斜率，t為慢時間，為快時間，即一個發射波形內的時間；R_(t)為t時刻目標到參考接收天線的距離，c為光速；

(1.2)將接收信號與發射信號進行混頻，得到中頻回波信號；混頻過程為：

其中，conj表示信號的共軛；表示發射信號，發射信號的帶寬B＝γ*T_r，T_r為一個發射信號的重復時間。

(1.3)對混頻后的中頻回波信號進行傅里葉變換，得到脈壓后回波信號及對應的頻率

由上式可知，中頻回波信號頻率與目標距離成正比，則對中頻回波信號進行傅里葉變換后，得出的頻點與目標距離對應，由此得到目標的距離信息R_(t)。

3.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述對所述脈壓后的回波信號進行二線對消，具體為：將相鄰兩個發射波形對應的脈壓后回波信號進行作差，使兩個脈壓后回波信號中靜止場景對應的信號分量相消；而兩個脈壓后回波信號中運動目標對應的信號分量保留，即得到嘴唇動作對應信號。

4.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述微多普勒分析為：采用短時傅里葉變換進行時頻分析，即先把嘴唇動作信號和窗函數進行相乘，然后再對乘積結果進行一維傅里葉變換；其中，窗函數為hamming窗。

5.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述根據運動目標的距離信息，在運動目標的距離范圍內的目標的嘴唇動作回波信號進行微多普勒分析，具體為：

(3.1)選取窗函數，在嘴唇動作回波信號上截取與窗函數的窗長L相同的數據長度；將截取的嘴唇動作回波信號與窗函數相乘，即滑窗處理，得到滑窗處理后數據；

(3.2)對滑窗處理后數據進行一維傅里葉變換，得到頻域數據，將其作為微多普勒圖中的一列數據；

(3.3)設滑窗每次移動一個數據采樣點，則對嘴唇動作周期內的所有數據幀依次進行滑窗處理和一維傅里葉變換，對應得到(M-L)列數據，組成一幅微多普勒圖；其中，M為嘴唇動作周期內的數據長度。

6.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述獲取訓練集，具體為：

(4.1)獲取同一目標的不同位置、不同唇語對應的回波數據，獲取不同目標的相同位置、相同唇語對應的回波數據，獲取不同唇語類型的回波數據；

其中，唇語類型包含英文字母和單詞；由目標、位置、唇語類型確定一種特征，每種特征對應的回波數據至少2000張；且每張回波數據分別進行數據變換，以擴充數據量；

(4.2)對每張回波數據進行步驟1-步驟3的處理，得到對應微多普勒圖；

(4.3)對每張微多普勒圖進行歸一化處理，使其大小變為N*N，并對每個樣本打標簽，形成訓練集。

7.根據權利要求1所述的基于寬帶多通道毫米波雷達的唇語識別方法，其特征在于，所述采用訓練集對唇語識別網絡模型進行訓練，具體為：

(5.1)對唇語識別網絡模型中的網絡參數進行隨機初始化，隨機初始化后網絡參數服從高斯分布；

(5.2)將訓練集中的樣本依次輸入初始化后的唇語識別網絡，對唇語識別網絡進行訓練，采用隨機梯度下降法沿負梯度方向進行網絡參數優化更新，直至訓練集中的所有樣本分別完成訓練，得到訓練后的唇語識別網絡。