[發(fā)明專利]手勢跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010159687.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111325179B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計）人: 楊思遠(yuǎn);曲曉超;姜浩;劉巖;萬鵬飛
• 申請（專利權(quán)）人: 廈門美圖之家科技有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/25;G06V10/46;G06V10/56;G06V10/764;G06T3/40;G06T7/215;G06T7/246
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 徐彥圣

本發(fā)明實施例提供了一種手勢跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)，涉及圖像處理技術(shù)領(lǐng)域。本發(fā)明實施例提供的手勢跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)，基于第一人手檢測框，對原圖像進(jìn)行裁剪，以得到第一圖像，通過對第一圖像進(jìn)行特征提取得到第一特征圖，判斷第一特征圖中是否存在人手，若第一特征圖中存在人手，則對第一特征圖進(jìn)行分割，得到人手圖像，將第一特征圖和人手圖像進(jìn)行檢測框回歸處理，得到第二人手檢測框，以第二人手檢測框作為下一幀圖像的輸入，實現(xiàn)對下一幀圖像的跟蹤，實時性較好。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種手勢跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

手勢識別技術(shù)是指在一張圖像中找出人手部分并對其姿勢進(jìn)行分類的技術(shù)。手勢信息作為一種高層次的語義信息，被廣泛的運用于人機(jī)交互場景中。

手勢識別技術(shù)可以細(xì)分為三個子技術(shù)，分別是手勢檢測、手勢分類和手勢跟蹤技術(shù)。其中手勢檢測技術(shù)負(fù)責(zé)從圖像中檢測到人手的包圍框，手勢分類技術(shù)負(fù)責(zé)對人手姿勢進(jìn)行分類，手勢跟蹤技術(shù)負(fù)責(zé)對檢測到的人手進(jìn)行跟蹤，以保證一直檢測到的手都是同一個人的手。

目前，基于深度神經(jīng)網(wǎng)絡(luò)的分類技術(shù)作為研究熱點，出現(xiàn)了很多提高了網(wǎng)絡(luò)運行效率的方法(例如網(wǎng)絡(luò)蒸餾、網(wǎng)絡(luò)量化等技術(shù))，使得其在移動端實時運行成為可能，但是跟蹤技術(shù)往往無法做到實時處理，其實時性較差。

發(fā)明內(nèi)容

基于上述研究，本發(fā)明提供了一種手勢跟蹤方法、裝置、電子設(shè)備和存儲介質(zhì)。

本發(fā)明的實施例可以這樣實現(xiàn)：

第一方面，本發(fā)明實施例提供一種手勢跟蹤方法，應(yīng)用于電子設(shè)備，所述手勢跟蹤方法包括：

基于第一人手檢測框，對原圖像進(jìn)行裁剪，以得到第一圖像；

對所述第一圖像進(jìn)行特征提取得到第一特征圖；

判斷所述第一特征圖中是否存在人手，若所述第一特征圖中存在人手，對所述第一特征圖進(jìn)行分割，得到人手圖像；

將所述第一特征圖和所述人手圖像進(jìn)行檢測框回歸處理，得到第二人手檢測框，以根據(jù)所述第二人手檢測框，對下一幀圖像進(jìn)行跟蹤。

在可選的實施方式中，所述方法還包括：

若所述第一特征圖中不存在人手，則對所述原圖像進(jìn)行特征提取得到第二特征圖；

將所述第二特征圖輸入至區(qū)域建議網(wǎng)絡(luò)，得到第一檢測框；

對所述第二特征圖中所述第一檢測框?qū)?yīng)區(qū)域的特征進(jìn)行裁剪，得到裁剪后的特征圖；

根據(jù)所述裁剪后的特征圖對所述第一檢測框進(jìn)行精修處理，得到第三人手檢測框，以根據(jù)所述第三人手檢測框，對下一幀圖像進(jìn)行跟蹤。

在可選的實施方式中，所述根據(jù)所述裁剪后的特征圖對所述第一檢測框進(jìn)行精修處理，得到第三人手檢測框的步驟包括：

將所述裁剪后的特征圖輸入至分類回歸網(wǎng)絡(luò)，得到檢測框精修參數(shù)；

根據(jù)所述檢測框精修參數(shù)對所述第一檢測框進(jìn)行精修處理，得到第三人手檢測框。

在可選的實施方式中，在對所述原圖像進(jìn)行特征提取得到第二特征圖之前，所述方法還包括：

對所述原圖像進(jìn)行膚色檢測，得到所述原圖像的人手概率圖；

將所述原圖像的人手概率圖與所述原圖像進(jìn)行拼接，得到拼接后的原圖像，所述第二特征圖通過對所述拼接后的原圖像進(jìn)行特征提取得到。

在可選的實施方式中，所述對所述原圖像進(jìn)行膚色檢測，得到所述原圖像的人手概率圖的步驟包括：