[發(fā)明專利]手勢(shì)跟蹤方法、裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010159687.9
• 申請(qǐng)日: 2020-03-09
• 公開（公告）號(hào): CN111325179B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 楊思遠(yuǎn);曲曉超;姜浩;劉巖;萬鵬飛
• 申請(qǐng)（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號(hào): G06V40/20
• 分類號(hào): G06V40/20;G06V10/25;G06V10/46;G06V10/56;G06V10/764;G06T3/40;G06T7/215;G06T7/246
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 徐彥圣

1.一種手勢(shì)跟蹤方法，其特征在于，應(yīng)用于電子設(shè)備，所述手勢(shì)跟蹤方法包括：

基于第一人手檢測(cè)框，對(duì)原圖像進(jìn)行裁剪，以得到第一圖像；

對(duì)所述第一圖像進(jìn)行特征提取得到第一特征圖；

判斷所述第一特征圖中是否存在人手，若所述第一特征圖中存在人手，對(duì)所述第一特征圖進(jìn)行分割，得到人手圖像；

將所述第一特征圖和所述人手圖像進(jìn)行檢測(cè)框回歸處理，得到第二人手檢測(cè)框，以根據(jù)所述第二人手檢測(cè)框，對(duì)下一幀圖像進(jìn)行跟蹤；

此外，所述方法還包括：

若所述第一特征圖中不存在人手，則對(duì)所述原圖像進(jìn)行膚色檢測(cè)，得到所述原圖像的人手概率圖，并將所述原圖像的人手概率圖與所述原圖像進(jìn)行拼接，得到拼接后的原圖像，而后對(duì)所述拼接后的原圖像進(jìn)行特征提取得到第二特征圖；

將所述第二特征圖輸入至區(qū)域建議網(wǎng)絡(luò)，得到第一檢測(cè)框；

對(duì)所述第二特征圖中所述第一檢測(cè)框?qū)?yīng)區(qū)域的特征進(jìn)行裁剪，得到裁剪后的特征圖；

根據(jù)所述裁剪后的特征圖對(duì)所述第一檢測(cè)框進(jìn)行精修處理，得到第三人手檢測(cè)框，以根據(jù)所述第三人手檢測(cè)框，對(duì)下一幀圖像進(jìn)行跟蹤；

其中，所述對(duì)所述原圖像進(jìn)行膚色檢測(cè)，得到所述原圖像的人手概率圖的步驟包括：

根據(jù)以下公式，對(duì)所述原圖像進(jìn)行膚色檢測(cè)，得到所述原圖像的人手概率圖：

其中，x代表原圖像中像素的RGB向量，N代表高斯混合模型中子高斯模型的數(shù)量，W_i代表x屬于第i個(gè)高斯模型的概率，μ_i代表第i個(gè)高斯模型的均值，∑_i代表第i個(gè)高斯模型的協(xié)方差矩陣；P(x)為x屬于人手部分的概率。

2.根據(jù)權(quán)利要求1所述的手勢(shì)跟蹤方法，其特征在于，所述根據(jù)所述裁剪后的特征圖對(duì)所述第一檢測(cè)框進(jìn)行精修處理，得到第三人手檢測(cè)框的步驟包括：

將所述裁剪后的特征圖輸入至分類回歸網(wǎng)絡(luò)，得到檢測(cè)框精修參數(shù)；

根據(jù)所述檢測(cè)框精修參數(shù)對(duì)所述第一檢測(cè)框進(jìn)行精修處理，得到第三人手檢測(cè)框。

3.根據(jù)權(quán)利要求1所述的手勢(shì)跟蹤方法，其特征在于，所述基于第一人手檢測(cè)框，對(duì)原圖像進(jìn)行裁剪，以得到第一圖像的步驟包括：

根據(jù)所述第一人手檢測(cè)框，對(duì)所述原圖像進(jìn)行裁剪，得到待檢測(cè)圖像；

對(duì)所述待檢測(cè)圖像進(jìn)行膚色檢測(cè)，得到所述待檢測(cè)圖像的人手概率圖；

將所述待檢測(cè)圖像的人手概率圖和所述待檢測(cè)圖像進(jìn)行拼接，得到所述第一圖像。

4.根據(jù)權(quán)利要求1所述的手勢(shì)跟蹤方法，其特征在于，所述基于第一人手檢測(cè)框，對(duì)原圖像進(jìn)行裁剪的步驟包括：

基于預(yù)先設(shè)定的放大倍數(shù)對(duì)所述第一人手檢測(cè)框進(jìn)行放大，根據(jù)放大后的第一人手檢測(cè)框?qū)λ鲈瓐D像進(jìn)行裁剪。