[發(fā)明專利]信息處理方法、裝置以及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201910365276.2
• 申請(qǐng)日: 2019-04-30
• 公開（公告）號(hào): CN111860082A
• 公開（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 謝宏偉;邵柏韜;王加芳;楊顯濤;古鑒;李名楊
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/32;G06N3/04;G06N3/08
• 代理公司: 北京博浩百睿知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11134
• 代理人: 謝湘寧;張文華

本申請(qǐng)公開了一種信息處理方法、裝置以及系統(tǒng)。其中，該方法包括：檢測目標(biāo)圖像中的目標(biāo)區(qū)域，其中，目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，目標(biāo)區(qū)域內(nèi)包含了目標(biāo)圖像中手部的手勢信息；從目標(biāo)區(qū)域中，識(shí)別手勢信息中的至少一個(gè)手部特征信息；基于多幀連續(xù)圖像信息中手勢信息的手部特征信息，識(shí)別手部所表征的動(dòng)作。本申請(qǐng)解決了現(xiàn)有技術(shù)中進(jìn)行手勢識(shí)別時(shí)將整個(gè)圖像信息輸入至神經(jīng)網(wǎng)絡(luò)模型進(jìn)行運(yùn)算，導(dǎo)致運(yùn)算復(fù)雜程度高的技術(shù)問題。

技術(shù)領(lǐng)域

本申請(qǐng)涉及智能交互領(lǐng)域，具體而言，涉及一種信息處理方法、裝置以及系統(tǒng)。

背景技術(shù)

手勢是人們?nèi)粘＝涣骱蛨F(tuán)隊(duì)協(xié)作中經(jīng)常使用的信息表達(dá)方式，例如，朋友間的揮手打招呼、比心點(diǎn)贊，以及樂團(tuán)指揮、交警指令、軍事演戲等場合中所使用到的手勢。隨著物聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人們也可以通過手勢來對(duì)物聯(lián)網(wǎng)(Internet of Things，簡稱IoT)設(shè)備進(jìn)行控制。

目前，主要是通過圖像識(shí)別技術(shù)，對(duì)包含手勢的圖像或視頻進(jìn)行識(shí)別，檢測并實(shí)時(shí)反饋圖像或視頻中手部的位置和/或手勢的含義。然而，現(xiàn)有的手勢識(shí)別系統(tǒng)通常僅能進(jìn)行單個(gè)手型的靜態(tài)手勢識(shí)別，無法進(jìn)行動(dòng)態(tài)手勢(例如，揮手、抓取)識(shí)別。另外，現(xiàn)有的手勢識(shí)別系統(tǒng)在對(duì)手勢進(jìn)行識(shí)別的過程中，通常是將包含手勢的整個(gè)圖像信息輸入至神經(jīng)網(wǎng)絡(luò)模型，由神經(jīng)網(wǎng)絡(luò)模型對(duì)該圖像信息進(jìn)行識(shí)別。由于整個(gè)圖像信息包含的信息量較大，因此，神經(jīng)網(wǎng)絡(luò)模型對(duì)整個(gè)圖像信息進(jìn)行運(yùn)算的運(yùn)算復(fù)雜程度較高，圖像識(shí)別速度慢，識(shí)別率也比較低。

針對(duì)上述的問題，目前尚未提出有效的解決方案。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供了一種信息處理方法、裝置以及系統(tǒng)，以至少解決現(xiàn)有技術(shù)中進(jìn)行手勢識(shí)別時(shí)將整個(gè)圖像信息輸入至神經(jīng)網(wǎng)絡(luò)模型進(jìn)行運(yùn)算，導(dǎo)致運(yùn)算復(fù)雜程度高的技術(shù)問題。

根據(jù)本申請(qǐng)實(shí)施例的一個(gè)方面，提供了一種信息處理方法，包括：檢測目標(biāo)圖像中的目標(biāo)區(qū)域，其中，目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，目標(biāo)區(qū)域內(nèi)包含了目標(biāo)圖像中手部的手勢信息；從目標(biāo)區(qū)域中，識(shí)別手勢信息中的至少一個(gè)手部特征信息；基于多幀連續(xù)圖像信息中手勢信息的手部特征信息，識(shí)別手部所表征的動(dòng)作。

根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種信息處理方法，包括：顯示目標(biāo)圖像中的目標(biāo)區(qū)域，其中，目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，目標(biāo)區(qū)域內(nèi)包含了目標(biāo)圖像中手部的手勢信息；顯示手部所表征的動(dòng)作，其中，從目標(biāo)區(qū)域中，識(shí)別手勢信息中的至少一個(gè)手部特征信息，并基于多幀連續(xù)圖像信息中手勢信息的手部特征信息，識(shí)別手部所表征的動(dòng)作。

根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種信息處理方法，包括：檢測目標(biāo)圖像中的目標(biāo)區(qū)域，其中，目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，目標(biāo)區(qū)域內(nèi)包含了目標(biāo)圖像中手部的手勢信息；從目標(biāo)區(qū)域中，識(shí)別手勢信息中的至少一個(gè)關(guān)鍵點(diǎn)信息，其中，關(guān)鍵點(diǎn)信息用于表示手部中，預(yù)設(shè)部位的位置信息；根據(jù)至少一個(gè)關(guān)鍵點(diǎn)信息，確定手部的軌跡信息；基于手部的軌跡信息，識(shí)別手部所表征的動(dòng)作。

根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種信息處理裝置，包括：檢測模塊，用于檢測目標(biāo)圖像中的目標(biāo)區(qū)域，其中，目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，目標(biāo)區(qū)域內(nèi)包含了目標(biāo)圖像中手部的手勢信息；第一識(shí)別模塊，用于從目標(biāo)區(qū)域中，識(shí)別手勢信息中的至少一個(gè)手部特征信息；第二識(shí)別模塊，用于基于多幀連續(xù)圖像信息中手勢信息的手部特征信息，識(shí)別手部所表征的動(dòng)作。

根據(jù)本申請(qǐng)實(shí)施例的另一方面，還提供了一種存儲(chǔ)介質(zhì)，該存儲(chǔ)介質(zhì)包括存儲(chǔ)的程序，其中，在程序運(yùn)行時(shí)控制存儲(chǔ)介質(zhì)所在設(shè)備執(zhí)行如下步驟：檢測目標(biāo)圖像中的目標(biāo)區(qū)域，其中，所述目標(biāo)圖像為多幀連續(xù)圖像中的至少兩幀，所述目標(biāo)區(qū)域內(nèi)包含了所述目標(biāo)圖像中手部的信息；從所述目標(biāo)區(qū)域中，識(shí)別所述信息中的至少一個(gè)手部特征信息；基于多幀連續(xù)圖像信息中所述信息的手部特征信息，識(shí)別所述手部所表征的動(dòng)作。