[發明專利]智能微波手語識別方法

有效

• 申請號: 201910941889.6
• 申請日: 2019-09-30
• 公開（公告）號: CN110781764B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 李昊洋;雙雅;魏夢麟;趙晗汀;阮恒心;李廉林
• 申請（專利權）人: 北京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京萬象新悅知識產權代理有限公司 11360
• 代理人: 黃鳳茹

1.一種智能微波手語識別方法，其特征是，利用信號源對手勢進行照射，再通過接收機將帶有手語特征的微波數據傳入神經網絡，通過神經網絡對不同手語的微波特征進行學習和記憶，并以成像或直接分類的方式實現手語識別；包括如下步驟：

1)對目標手勢進行照射，得到微波信號，形成含有手勢的信息并接收；包括：

11)信號源發射微波信號，目標手勢對微波信號進行散射；

12)接收機接收散射數據；

2)基于殘差網絡架構對CNN進行改進，構建復數卷積神經網絡complex-valued CNN，并對complex-valued CNN網絡進行訓練和優化；包括：

21)所述complex-valued CNN的輸入端采用雙通道輸入，分別對應微波信號數據的實部和虛部，與微波信號的復數特性匹配；

22)采用優化算法進行網絡優化；選擇激活函數作為非線性單元；

23)在每層激活函數前加入批量歸一化層，以防止過擬合；

3)利用訓練好的神經網絡complex-valued CNN，實現對微波信號直接進行分類識別；或將微波信號映射成光學圖像，再根據圖像和語義的一一對應關系進行識別；達到智能微波識別手語的目的；包括：

A.建立微波信號與對應類別的映射關系，構建微波信號分類網絡，實現所述對微波信號直接進行分類識別；所述微波信號分類網絡的損失函數表示為式(1)：

其中，Loss為分類網絡的損失函數，通過不斷減小此函數值，完成網絡中權重與偏置的更新與優化；N為每次訓練的樣本數；S_j代表神經網絡的輸出端經分類函數進行分類后得到的第j個值，該值對神經網絡的生成圖像進行規范化；Y是一個形狀為1*T的向量，T為手語的類別數目，在向量Y中只有元素Y_j為1，1≤j≤T；其余元素均為0；

B.建立微波信號與光學圖像的映射關系，構建微波信號成像網絡，將微波信號映射成光學圖像，再根據圖像和語義的對應關系進行手語識別；所述微波信號成像網絡的損失函數表示為式(2)：

其中，L_MSE代表成像網絡中生成圖像與真實圖像之間的誤差值；X為輸入的微波數據，G(X)為神經網絡的生成圖像；W、H分別為圖像的橫向、縱向像素值；G(X)的像素值與真實光學圖像Y相同；通過不斷縮小L_MSE值，得到目標圖像。

2.如權利要求1所述的智能微波手語識別方法，其特征是，步驟1)具體通過搭建智能微波手語系統獲得原始手勢數據；包括：

將有源陣列天線作為信號發射源對目標手勢進行照射，形成的含有手勢信息的散射波被接收機接收；或者；

通過超材料對任意信號源的微波信號進行聚焦再對目標手勢照射，再由接收機接收包含有手勢特征的信號。

3.如權利要求2所述的智能微波手語識別方法，其特征是，在步驟1)中，對現場可編程超材料進行編碼控制，實現微波信號的聚焦。

4.如權利要求1所述的智能微波手語識別方法，其特征是，步驟22)具體采用adam算法進行網絡優化；具體選用relu激活函數作為非線性單元。

5.如權利要求1所述的智能微波手語識別方法，其特征是，步驟3)的A中，具體采用softmax_cross_entropy損失函數對微波信號分類網絡進行優化訓練。

6.如權利要求1所述的智能微波手語識別方法，其特征是，步驟3)的B中，微波信號成像網絡采用基于U-NET的雙通道Pixel-GAN架構；生成網絡由一個復數卷積層和八個殘差網絡模塊串聯而成。

7.如權利要求6所述的智能微波手語識別方法，其特征是，八個“殘差”模塊中，前四個模塊的最小結構單元為“批量歸一化層-relu激活函數-Conv層”，后四個模塊的最小單元結構為“批量歸一化層-relu激活函數-Convt層”。

8.如權利要求7所述的智能微波手語識別方法，其特征是，具體通過MSE損失函數優化訓練微波信號成像網絡。