[發(fā)明專利]手勢識別方法、裝置、存儲介質(zhì)、電子裝置

在審

• 申請?zhí)枺?/td>: 202010802913.0
• 申請日: 2020-08-11
• 公開（公告）號: CN112036261A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設(shè)計）人: 王磊;胡江明;潘威滔;李雷雷
• 申請（專利權(quán)）人: 海爾優(yōu)家智能科技（北京）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京康信知識產(chǎn)權(quán)代理有限責(zé)任公司 11240
• 代理人: 趙靜

1.一種手勢識別方法，其特征在于，包括：

確定目標(biāo)圖像；

使用第一模型對所述目標(biāo)圖像的特征進行提取，確定所述目標(biāo)圖像的目標(biāo)特征圖，其中，所述第一模型為使用多組第一數(shù)據(jù)對第一初始模型通過機器學(xué)習(xí)訓(xùn)練出的，每組第一數(shù)據(jù)均包括：圖像和圖像的特征圖，所述第一初始模型為對目標(biāo)模型的目標(biāo)層進行調(diào)整之后得到的；

使用第二模型識別所述目標(biāo)特征圖中包括的目標(biāo)手勢，其中，所述第二模型為使用多組第二數(shù)據(jù)對第二初始模型通過機器學(xué)習(xí)訓(xùn)練出的，每組第二數(shù)據(jù)均包括：特征圖和特征圖中包括的手勢。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在使用第一模型對所述目標(biāo)圖像的特征進行提取之前，所述方法還包括：

對VGG16卷積神經(jīng)網(wǎng)絡(luò)進行如下處理，以得到所述第一初始模型：

去除所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc8；

將所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc6和fc7轉(zhuǎn)換為卷積層；

維持所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的池化層pool5的分辨率不變。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，在將所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc6轉(zhuǎn)換為卷積層之后，所述方法還包括：

對所述fc6轉(zhuǎn)換成的卷積層進行空洞卷積處理。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，在使用第二模型識別所述目標(biāo)特征圖中包括的目標(biāo)手勢之前，所述方法還包括：

基于馬爾科夫決策過程對每組第二數(shù)據(jù)中包括的特征圖中的手勢進行定位；

依次利用所述第二初始模型中包括的全局平均池化層、全連接層以及softmax函數(shù)對定位后的特征圖進行處理，以得到分類結(jié)果；

基于所述分類結(jié)果與對應(yīng)特征圖中包括的手勢的差別對所述第二初始模型中的參數(shù)進行調(diào)整，以得到所述第二模型。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在使用第二模型識別所述目標(biāo)特征圖中包括的目標(biāo)手勢之后，所述方法還包括：

確定與所述目標(biāo)手勢對應(yīng)的控制指令；

控制目標(biāo)設(shè)備執(zhí)行與所述控制指令對應(yīng)的操作。

6.一種手勢識別裝置，其特征在于，包括：

第一確定模塊，用于確定目標(biāo)圖像；

第二確定模塊，用于使用第一模型對所述目標(biāo)圖像的特征進行提取，確定所述目標(biāo)圖像的目標(biāo)特征圖，其中，所述第一模型為使用多組第一數(shù)據(jù)對第一初始模型通過機器學(xué)習(xí)訓(xùn)練出的，每組第一數(shù)據(jù)均包括：圖像和圖像的特征圖，所述第一初始模型為對目標(biāo)模型的目標(biāo)層進行調(diào)整之后得到的；

識別模塊，用于使用第二模型識別所述目標(biāo)特征圖中包括的目標(biāo)手勢，其中，所述第二模型為使用多組第二數(shù)據(jù)對第二初始模型通過機器學(xué)習(xí)訓(xùn)練出的，每組第二數(shù)據(jù)均包括：特征圖和特征圖中包括的手勢。

7.根據(jù)權(quán)利要求6所述的裝置，其特征在于，所述裝置還包括：

處理模塊，用于在使用第一模型對所述目標(biāo)圖像的特征進行提取之前，對VGG16卷積神經(jīng)網(wǎng)絡(luò)進行如下處理，以得到所述第一初始模型：

去除所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc8；

將所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc6和fc7轉(zhuǎn)換為卷積層；

維持所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的池化層pool5的分辨率不變。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述裝置還包括：

配置模塊，用于在將所述VGG16卷積神經(jīng)網(wǎng)絡(luò)的全連接層fc6轉(zhuǎn)換為卷積層之后，配置所述fc6轉(zhuǎn)換成的卷積層使用空洞卷積處理。

9.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)中存儲有計算機程序，其中，所述計算機程序被設(shè)置為運行時執(zhí)行所述權(quán)利要求1至5任一項中所述的方法。

10.一種電子裝置，包括存儲器和處理器，其特征在于，所述存儲器中存儲有計算機程序，所述處理器被設(shè)置為運行所述計算機程序以執(zhí)行所述權(quán)利要求1至5任一項中所述的方法。