[發(fā)明專利]基于膚色檢測和深度學(xué)習(xí)的視頻手勢的識別方法及裝置

有效

• 申請?zhí)枺?/td>: 201811534444.8
• 申請日: 2018-12-14
• 公開（公告）號: CN109684959B
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 種衍文;黃瀚文;潘少明;李紅
• 申請（專利權(quán)）人: 武漢大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T7/11;G06T7/13;G06T7/62;G06T7/66;G06T7/90;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 42222
• 代理人: 羅飛

1.基于膚色檢測和深度學(xué)習(xí)的視頻手勢的識別方法，其特征在于，包括：

步驟S1：獲取視頻數(shù)據(jù)，所述視頻數(shù)據(jù)由RGB圖像構(gòu)成；

步驟S2：基于預(yù)設(shè)皮膚色彩特征分割模型，對視頻數(shù)據(jù)進(jìn)行逐幀處理，分割出皮膚區(qū)域，并對皮膚區(qū)域?qū)?yīng)的圖像進(jìn)行二值化，獲得二值化圖像；

步驟S3：從二值化圖像中提取出手部輪廓；

步驟S4：基于預(yù)設(shè)手勢識別模型對提取出的手部輪廓進(jìn)行識別，其中，預(yù)設(shè)手勢識別模型由已有的訓(xùn)練數(shù)據(jù)，采用金字塔池化模塊搭配注意力機(jī)制訓(xùn)練得到，其中，已有的訓(xùn)練數(shù)據(jù)包含所需要判別的所有手勢類型，金字塔池化模塊搭配注意力機(jī)制通過增加感受野對手勢類型進(jìn)行細(xì)節(jié)分類；

其中，步驟S3具體包括：

步驟S3.1：從二值化圖像中檢索出所有輪廓；

步驟S3.2：從所有輪廓中選取出面積最大的兩個輪廓；

步驟S3.3：從面積最大的兩個輪廓中提取出手部輪廓；

預(yù)設(shè)手勢識別模型包括卷積層、最大池化層、瓶頸塊、全連接層和分類層，步驟S4具體包括：

步驟S4.1：通過卷積層和最大池化層，將提取出的手部輪廓對應(yīng)的原始圖像轉(zhuǎn)化為第一特征圖，其中，第一特征圖的圖像大小為原始圖像的大小的1/2；

步驟S4.2：通過對應(yīng)的瓶頸塊分別對第一特征圖進(jìn)行處理，得到大小分別為原始圖像大小的1/4，1/8，1/16，1/32的四個不同尺度的特征圖；

步驟S4.3：采用注意力機(jī)制逐層將上一尺度大小的特征圖通過池化層進(jìn)行下采樣，再經(jīng)過一層激活函數(shù)為sigmoid的卷積層，將其作為下一尺度特征圖的權(quán)重；

步驟S4.4：將4×4的特征圖展開為一維向量，并通過包全連接層和分類層，得到手勢識別結(jié)果；

具體地，一張128×128的原始圖像經(jīng)過一個7×7的卷積層和最大池化層得到64×64的第一特征圖；然后經(jīng)過Bottleneck block之后得到分別32×32、16×16、8×8和4×4四個不同尺度的特征圖；進(jìn)而采用注意力機(jī)制逐層將上一尺度大小的特征圖通過池化層下采樣，并經(jīng)過一層激活函數(shù)為sigmoid的卷積層，進(jìn)而將其作為下一尺度特征圖的權(quán)重，最后，將4×4的特征圖展開為一維向量經(jīng)過一個包含512個神經(jīng)元的全連接層和9個神經(jīng)元的分類層得到最終識別結(jié)果；

其中，步驟S3.3具體包括：

根據(jù)選取出的面積最大的兩個輪廓的形狀和/或高度，提取出手部輪廓；

根據(jù)選取出的面積最大的兩個輪廓的形狀和/或高度，提取出手部輪廓，具體包括：

從選取出的面積最大的兩個輪廓中，選取出輪廓高度低于另一個輪廓，且點(diǎn)到重心的最大距離與所有點(diǎn)到重心的平均距離的比值為閾值的輪廓，作為手部輪廓。

2.如權(quán)利要求1所述的方法，其特征在于，步驟S2具體包括：

步驟S2.1：通過預(yù)設(shè)膚色皮膚色彩特征分割模型，將符合預(yù)設(shè)條件的區(qū)域作為皮膚區(qū)域，其中，預(yù)設(shè)條件為RGB圖像的R值大于85、R-B值大于10且R-G值大于10；

步驟S2.2：對皮膚區(qū)域?qū)?yīng)的圖像進(jìn)行二值化處理，獲得二值化圖像。