[發(fā)明專利]基于GAN-CNN框架的機(jī)器人手勢識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010192589.5
• 申請(qǐng)日: 2020-03-18
• 公開（公告）號(hào): CN111401261B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計(jì)）人: 司海飛;胡興柳;史震;方挺
• 申請(qǐng)（專利權(quán)）人: 金陵科技學(xué)院
• 主分類號(hào): G06V20/10
• 分類號(hào): G06V20/10;G06V40/20;G06V10/774;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京眾聯(lián)專利代理有限公司 32206
• 代理人: 蔣昱

1.基于GAN-CNN框架的機(jī)器人手勢識(shí)別方法，具體步驟如下，其特征在于：

步驟1，高清攝像機(jī)預(yù)先采集不同手勢樣本圖片，而后通過WIFI傳送至機(jī)器人數(shù)據(jù)處理系統(tǒng)；

步驟2，數(shù)據(jù)處理系統(tǒng)利用生成對(duì)抗網(wǎng)絡(luò)GAN對(duì)步驟1中不同的手勢樣本圖片進(jìn)行擴(kuò)展；

步驟2中GAN網(wǎng)絡(luò)模型訓(xùn)練的步驟為：

步驟2.1，固定生成器G，訓(xùn)練鑒別器D；

步驟2.2，固定鑒別器D，訓(xùn)練生成器G；

步驟2.3，重復(fù)步驟2.1和步驟2.2，直至整個(gè)網(wǎng)絡(luò)達(dá)到納什平衡或者迭代次數(shù)達(dá)到設(shè)定的最大值，整個(gè)對(duì)抗過程的目標(biāo)函數(shù)表示為：

式中，p_data(x)表示真實(shí)樣本x的分布概率，p_z(z)表示生成器G的輸入噪聲變量z的分布概率，D(x)表示D鑒別x來源于真實(shí)樣本的概率，D(G(z))表示D鑒別z來源于虛假樣本的概率；

步驟3，對(duì)步驟2獲得的擴(kuò)展手勢圖片制作相應(yīng)的標(biāo)簽，然后將擴(kuò)展得到的手勢圖片及其對(duì)應(yīng)的標(biāo)簽輸入到卷積神經(jīng)網(wǎng)絡(luò)CNN中，從而完成CNN分類識(shí)別模型的預(yù)訓(xùn)練；

步驟3中CNN網(wǎng)絡(luò)模型訓(xùn)練的步驟為：

步驟3.1，將擴(kuò)展得到的手勢圖片及其對(duì)應(yīng)的標(biāo)簽輸入到CNN中，其中卷積層濾波處理表達(dá)為：

式中，為n層卷積上第l個(gè)卷積核的輸出，σ(·)為非線性激活函數(shù)，使用RULE函數(shù)，為n層第l個(gè)卷積核的權(quán)重系數(shù)，為n-1層第m個(gè)特征輸出，是偏置項(xiàng)；

步驟3.2，將卷積層處理后的圖片輸入至下一個(gè)處理層，該處理層為池化層，池化方式為Max pooling；

步驟3.3，依次對(duì)圖片進(jìn)行類似于步驟3.1和步驟3.2的卷積池化處理；

步驟3.4，將步驟3.3中獲得圖片以Flatten的方式進(jìn)行展開，然后連接全連接層1和全連接層2；

步驟3.5，利用Softmax邏輯回歸實(shí)現(xiàn)對(duì)多層提取后的特征向量的識(shí)別與分類，其中Softmax回歸的輸出定義如下：

式中，K為類別數(shù)，θ^j，1≤j≤K為分類層參數(shù)；

步驟3.6，在交叉熵?fù)p失函數(shù)下，利用隨機(jī)梯度下降SGD算法對(duì)CNN網(wǎng)絡(luò)參數(shù)進(jìn)行更新優(yōu)化；

步驟3.7，重復(fù)步驟3.1-3.6，直至交叉熵?fù)p失函數(shù)收斂或網(wǎng)絡(luò)迭代次數(shù)達(dá)到設(shè)定的閾值，模型訓(xùn)練完成；

步驟4，高清攝像機(jī)實(shí)時(shí)采集不同手勢樣本圖片，而后通過WIFI傳送至機(jī)器人數(shù)據(jù)處理系統(tǒng)；

步驟5，數(shù)據(jù)處理系統(tǒng)利用預(yù)訓(xùn)練好的CNN模型對(duì)步驟4中所采集的照片進(jìn)行分類識(shí)別，并將相關(guān)的識(shí)別信息通過WIFI上傳至MYSQL數(shù)據(jù)庫進(jìn)行存儲(chǔ)；

步驟6，機(jī)器人根據(jù)CNN識(shí)別結(jié)果執(zhí)行相應(yīng)的動(dòng)作，至此，整個(gè)閉環(huán)過程結(jié)束。

2.根據(jù)權(quán)利要求1所述的基于GAN-CNN框架的機(jī)器人手勢識(shí)別方法，其特征在于：步驟5中將相關(guān)的識(shí)別信息通過WIFI上傳至MYSQL數(shù)據(jù)庫進(jìn)行存儲(chǔ)具體為：

將實(shí)時(shí)采集的照片和相應(yīng)的判斷結(jié)果發(fā)送至MYSQL數(shù)據(jù)庫，當(dāng)已有的模型判斷出錯(cuò)時(shí)，則將判斷出錯(cuò)的圖片數(shù)據(jù)制作相應(yīng)的標(biāo)簽，而后對(duì)已有的模型進(jìn)行重新訓(xùn)練，其中訓(xùn)練過程與步驟3.1-3.7保持一致。