[發(fā)明專利]一種基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202310721908.0
• 申請(qǐng)日: 2023-06-19
• 公開（公告）號(hào): CN116453227B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 楊星;李昂;劉克中;曾旭明;陳默子;鄭凱;龔大內(nèi);舒斯坦
• 申請(qǐng)（專利權(quán)）人: 武漢理工大學(xué)
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/30;G06V10/762;G06V10/82;G06N3/0442;G06N3/0464;G01S7/41;G01S7/02;A61B5/11;A61B5/00
• 代理公司: 湖北武漢永嘉專利代理有限公司 42102
• 代理人: 王丹

1.一種基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，其特征在于：包括以下步驟，

S1、在船艙的人員檢測(cè)區(qū)域設(shè)置第一毫米波雷達(dá)與第二毫米波雷達(dá)，使第一毫米波雷達(dá)檢測(cè)被測(cè)目標(biāo)在船載環(huán)境下的上肢特征，第二毫米波雷達(dá)檢測(cè)被測(cè)目標(biāo)在船載環(huán)境下的下肢特征，并且第一毫米波雷達(dá)與第二毫米波雷達(dá)的檢測(cè)范圍不重疊；

S2、對(duì)第一毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行點(diǎn)云預(yù)處理，獲得上肢的3D點(diǎn)云特征圖，對(duì)第一毫米波雷達(dá)和第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換分別得到上肢的速度-時(shí)間特征圖和下肢的速度-時(shí)間特征圖，對(duì)下肢的速度-時(shí)間特征圖再進(jìn)行快速傅里葉變換得到下肢的節(jié)奏頻率-速度特征圖；

S3、根據(jù)設(shè)定的步態(tài)類目建立mmGRnet網(wǎng)絡(luò)；對(duì)上肢的3D點(diǎn)云特征圖、上肢的速度-時(shí)間特征圖、下肢的速度-時(shí)間特征圖、下肢的節(jié)奏頻率-速度特征圖降噪后，輸入mmGRnet網(wǎng)絡(luò)，mmGRnet網(wǎng)絡(luò)運(yùn)算后輸出被測(cè)目標(biāo)的步態(tài)類型；其中mmGRnet網(wǎng)絡(luò)包括輸入層、卷積層、LSTM層以及全連接層；

輸入層的數(shù)據(jù)形式為T×X×Y×4，其中T為幀數(shù)，X、Y由第一毫米波雷達(dá)與第二毫米波雷達(dá)所采集信號(hào)的數(shù)據(jù)形式?jīng)Q定；卷積層包括4組并行的CNN，每組CNN用于分別處理每幀的上肢的3D點(diǎn)云特征圖、上肢的速度-時(shí)間特征圖、下肢的速度-時(shí)間特征圖、下肢的節(jié)奏頻率-速度特征圖；LSTM層共有4個(gè)，分別與每組CNN對(duì)應(yīng)，每個(gè)LSTM層包括T個(gè)單向LSTM?CELL，同一LSTM層的T個(gè)單向LSTM?CELL用于分別處理某一類型特征圖的T幀；

mmGRnet網(wǎng)絡(luò)中，對(duì)于單個(gè)特征圖輸入的損失函數(shù)為，

其中，L_s為單特征圖輸入的損失函數(shù)；T為輸入的特征圖幀數(shù)；k為樣本數(shù)據(jù)，通過實(shí)驗(yàn)分析得到；n為步態(tài)類型序號(hào)；M為步態(tài)類型總數(shù)；y_kn為實(shí)際步態(tài)類型標(biāo)簽；p_kn為預(yù)測(cè)步態(tài)類型標(biāo)簽；

步態(tài)識(shí)別損失函數(shù)為，

L＝loss_f+ωL_s

上式中，loss_f為多種特征圖融合時(shí)的網(wǎng)絡(luò)計(jì)算損失；ω為單特征圖的損失權(quán)重；L為步態(tài)識(shí)別損失函數(shù)。

2.根據(jù)權(quán)利要求1所述的基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，其特征在于：S2中點(diǎn)云預(yù)處理包括點(diǎn)云聚類。

3.根據(jù)權(quán)利要求2所述的基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，其特征在于：點(diǎn)云聚類具體采用DBSCAN算法。

4.根據(jù)權(quán)利要求1所述的基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，其特征在于：S3中具體采用CA-CFAR進(jìn)行降噪。

5.根據(jù)權(quán)利要求1所述的基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，其特征在于：設(shè)定的步態(tài)類目中具有的步態(tài)類型包括正常行走、跑動(dòng)、拄拐跛行、不拄拐跛行。

6.一種基于mmGRnet網(wǎng)絡(luò)的步態(tài)識(shí)別裝置，其特征在于：該裝置用于實(shí)現(xiàn)權(quán)利要求1-5任一項(xiàng)所述方法中的對(duì)第一毫米波雷達(dá)與第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)的處理以及對(duì)被測(cè)目標(biāo)的步態(tài)類型的識(shí)別，其包括探測(cè)數(shù)據(jù)處理模塊以及步態(tài)類型識(shí)別模塊；

其中探測(cè)數(shù)據(jù)處理模塊對(duì)第一毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行點(diǎn)云預(yù)處理，獲得上肢的3D點(diǎn)云特征圖，對(duì)第一毫米波雷達(dá)和第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換分別得到上肢的速度-時(shí)間特征圖和下肢的速度-時(shí)間特征圖，對(duì)下肢的速度-時(shí)間特征圖再進(jìn)行快速傅里葉變換得到下肢的節(jié)奏頻率-速度特征圖；探測(cè)數(shù)據(jù)處理模塊完成對(duì)第一毫米波雷達(dá)和第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)的處理后將處理后的探測(cè)數(shù)據(jù)傳輸至步態(tài)類型識(shí)別模塊；

步態(tài)類型識(shí)別模塊中設(shè)置有根據(jù)設(shè)定的步態(tài)類目建立的mmGRnet網(wǎng)絡(luò)，mmGRnet網(wǎng)絡(luò)包括輸入層、卷積層、LSTM層以及全連接層；步態(tài)類型識(shí)別模塊接收到來自探測(cè)數(shù)據(jù)處理模塊的經(jīng)過處理的探測(cè)數(shù)據(jù)后，首先對(duì)經(jīng)過處理的探測(cè)數(shù)據(jù)進(jìn)行降噪，而后輸入mmGRnet網(wǎng)絡(luò)進(jìn)行步態(tài)類型識(shí)別，最后輸出被測(cè)目標(biāo)的步態(tài)類型。

7.一種基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別系統(tǒng)，其特征在于：該系統(tǒng)用于實(shí)現(xiàn)權(quán)利要求1-5任一項(xiàng)所述的基于雙毫米波雷達(dá)的船舶環(huán)境下步態(tài)識(shí)別方法，包括步態(tài)檢測(cè)裝置與步態(tài)識(shí)別裝置；其中，步態(tài)檢測(cè)裝置包括第一毫米波雷達(dá)與第二毫米波雷達(dá)，其中第一毫米波雷達(dá)檢測(cè)被測(cè)目標(biāo)在船載環(huán)境下的上肢特征，第二毫米波雷達(dá)檢測(cè)被測(cè)目標(biāo)在船載環(huán)境下的下肢特征，并且第一毫米波雷達(dá)與第二毫米波雷達(dá)的檢測(cè)范圍不重疊；

步態(tài)識(shí)別裝置包括探測(cè)數(shù)據(jù)處理模塊以及步態(tài)類型識(shí)別模塊，探測(cè)數(shù)據(jù)處理模塊對(duì)第一毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行點(diǎn)云預(yù)處理，獲得上肢的3D點(diǎn)云特征圖，對(duì)第一毫米波雷達(dá)和第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換分別得到上肢的速度-時(shí)間特征圖和下肢的速度-時(shí)間特征圖，對(duì)下肢的速度-時(shí)間特征圖再進(jìn)行快速傅里葉變換得到下肢的節(jié)奏頻率-速度特征圖；探測(cè)數(shù)據(jù)處理模塊完成對(duì)第一毫米波雷達(dá)和第二毫米波雷達(dá)的探測(cè)數(shù)據(jù)的處理后將處理后的探測(cè)數(shù)據(jù)傳輸至步態(tài)類型識(shí)別模塊；步態(tài)類型識(shí)別模塊中設(shè)置有根據(jù)設(shè)定的步態(tài)類目建立的mmGRnet網(wǎng)絡(luò)，mmGRnet網(wǎng)絡(luò)包括輸入層、卷積層、LSTM層以及全連接層；步態(tài)類型識(shí)別模塊接收到來自探測(cè)數(shù)據(jù)處理模塊的經(jīng)過處理的探測(cè)數(shù)據(jù)后，首先對(duì)經(jīng)過處理的探測(cè)數(shù)據(jù)進(jìn)行降噪，而后輸入mmGRnet網(wǎng)絡(luò)進(jìn)行步態(tài)類型識(shí)別，最后輸出被測(cè)目標(biāo)的步態(tài)類型。