[發(fā)明專利]模型訓(xùn)練方法、手勢控制方法、裝置、介質(zhì)及電子設(shè)備

有效

• 申請?zhí)枺?/td>: 201911152977.4
• 申請日: 2019-11-22
• 公開（公告）號: CN111124108B
• 公開（公告）日: 2022-11-15
• 發(fā)明（設(shè)計）人: 陳喆
• 申請（專利權(quán)）人: OPPO廣東移動通信有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G10L25/51;G10L25/48;G10L21/14
• 代理公司: 深圳翼盛智成知識產(chǎn)權(quán)事務(wù)所(普通合伙) 44300
• 代理人: 彭緒坤

1.一種模型訓(xùn)練方法，應(yīng)用于電子設(shè)備，所述電子設(shè)備包括多個音頻輸出組件，每一音頻輸出組件對應(yīng)一音頻采集組件，其特征在于，所述模型訓(xùn)練方法包括：

當(dāng)接收到目標(biāo)描述信息時，通過每一音頻輸出組件向外發(fā)射超聲波信號，不同音頻輸出組件發(fā)射的超聲波信號的頻率不同，所述目標(biāo)描述信息用于描述當(dāng)前存在已知手勢；

通過每一音頻采集組件采集其對應(yīng)的音頻輸出組件發(fā)射后反射回的相應(yīng)超聲波信號，得到多個反射超聲波信號；

獲取每一反射超聲波信號的語譜圖，得到多個語譜圖；

拼接所述多個語譜圖生成樣本圖像，并根據(jù)所述樣本圖像進(jìn)行模型訓(xùn)練，得到用于手勢識別的手勢識別模型。

2.根據(jù)權(quán)利要求1所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述樣本圖像進(jìn)行模型訓(xùn)練，得到用于手勢識別的手勢識別模型，包括：

構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，并根據(jù)所述樣本圖像對所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至滿足預(yù)設(shè)結(jié)束訓(xùn)練條件；

將滿足所述預(yù)設(shè)結(jié)束訓(xùn)練條件的卷積神經(jīng)網(wǎng)絡(luò)作為所述手勢識別模型。

3.根據(jù)權(quán)利要求2所述的模型訓(xùn)練方法，其特征在于，所述根據(jù)所述樣本圖像對所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：

將所述樣本圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢分類預(yù)測，得到對應(yīng)所述樣本圖像的預(yù)測手勢；

根據(jù)所述樣本圖像的預(yù)測手勢與其對應(yīng)的已知手勢之間的差異，對所述卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整。

4.根據(jù)權(quán)利要求3所述的模型訓(xùn)練方法，其特征在于，所述將所述樣本圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢分類預(yù)測之前，還包括：

將所述樣本圖像劃分為訓(xùn)練樣本圖像和測試樣本圖像；

所述將所述樣本圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢分類預(yù)測，包括：

將所述訓(xùn)練樣本圖像輸入所述卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢分類預(yù)測；

所述將滿足所述預(yù)設(shè)結(jié)束訓(xùn)練條件的卷積神經(jīng)網(wǎng)絡(luò)作為所述手勢識別模型，包括：

將所述測試樣本圖像輸入滿足所述預(yù)設(shè)結(jié)束訓(xùn)練條件的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手勢分類預(yù)測，得到對應(yīng)所述測試樣本圖像的預(yù)測手勢；

當(dāng)所述測試樣本圖像的預(yù)測手勢與其對應(yīng)的已知手勢不一致時，根據(jù)所述測試樣本圖像的預(yù)測手勢與其對應(yīng)的已知手勢之間的差異再次對所述卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)進(jìn)行調(diào)整；

將參數(shù)調(diào)整后的卷積神經(jīng)網(wǎng)絡(luò)作為用于手勢識別的手勢識別模型。

5.一種手勢控制方法，應(yīng)用于電子設(shè)備，所述電子設(shè)備包括多個音頻輸出組件，每一音頻輸出組件對應(yīng)一音頻采集組件，其特征在于，所述手勢控制方法包括：

通過每一音頻輸出組件向外發(fā)射超聲波信號，不同音頻輸出組件發(fā)射的超聲波信號的頻率不同；

通過每一音頻采集組件采集其對應(yīng)的音頻輸出組件發(fā)射后反射回的相應(yīng)超聲波信號，得到多個反射超聲波信號；

獲取每一反射超聲波信號的語譜圖，得到多個語譜圖；

拼接所述多個語譜圖得到待識別圖像，并將所述待識別圖像輸入預(yù)先訓(xùn)練的手勢識別模型進(jìn)行手勢分類預(yù)測，得到對應(yīng)的預(yù)測手勢；

確定對應(yīng)所述預(yù)測手勢的目標(biāo)操作，并執(zhí)行所述目標(biāo)操作；

其中，所述手勢識別模型采用權(quán)利要求1-4任一項(xiàng)所述的模型訓(xùn)練方法訓(xùn)練得到。

6.一種模型訓(xùn)練裝置，應(yīng)用于電子設(shè)備，所述電子設(shè)備包括多個音頻輸出組件，每一音頻輸出組件對應(yīng)一音頻采集組件，其特征在于，包括：

發(fā)射模塊，用于當(dāng)接收到目標(biāo)描述信息時，通過每一音頻輸出組件向外發(fā)射超聲波信號，不同音頻輸出組件發(fā)射的超聲波信號的頻率不同，所述目標(biāo)描述信息用于描述當(dāng)前存在已知手勢；

接收模塊，用于通過每一音頻采集組件采集其對應(yīng)的音頻輸出組件發(fā)射后反射回的相應(yīng)超聲波信號，得到多個反射超聲波信號；

獲取模塊，用于獲取每一反射超聲波信號的語譜圖，得到多個語譜圖；

訓(xùn)練模塊，用于拼接所述多個語譜圖生成樣本圖像，并根據(jù)所述樣本圖像進(jìn)行模型訓(xùn)練，得到用于手勢識別的手勢識別模型。