[發(fā)明專利]關(guān)鍵點檢測方法、裝置、存儲介質(zhì)及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201710311329.3
• 申請日: 2017-05-05
• 公開（公告）號: CN108229282A
• 公開（公告）日: 2018-06-29
• 發(fā)明（設(shè)計）人: 張展鵬;孫書洋;張偉
• 申請（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京天健君律專利代理事務(wù)所(普通合伙) 11461
• 代理人: 張雪飛;黃海艷

1.一種關(guān)鍵點檢測方法，包括：

根據(jù)視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數(shù)據(jù)，所述視頻光流數(shù)據(jù)用于指示在所述第二視頻幀和第一視頻幀之間各個像素的位移數(shù)據(jù)，所述第二視頻幀包括所述視頻序列中時序連續(xù)且位于所述第一視頻幀之前的至少一個視頻幀；

根據(jù)已獲得的所述第二視頻幀中目標(biāo)對象的第二關(guān)鍵點數(shù)據(jù)和所述視頻光流數(shù)據(jù)，獲取所述第一視頻幀中所述目標(biāo)對象的第一關(guān)鍵點數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述根據(jù)視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數(shù)據(jù)，包括：

通過用于生成視頻光流數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)，根據(jù)所述第一視頻幀和所述第二視頻幀獲取視頻光流數(shù)據(jù)。

3.根據(jù)權(quán)利要求1或2所述的方法，其中，所述根據(jù)已獲得的所述第二視頻幀中目標(biāo)對象的第二關(guān)鍵點數(shù)據(jù)和所述視頻光流數(shù)據(jù)，獲取所述第一視頻幀中目標(biāo)對象的第一關(guān)鍵點數(shù)據(jù)，包括：

根據(jù)已獲得的所述第二視頻幀中目標(biāo)對象的第二關(guān)鍵點數(shù)據(jù)，以所述第二關(guān)鍵點為中心選取若干第二像素；

根據(jù)所述視頻光流數(shù)據(jù)所指示的所述第二視頻幀和所述第一視頻幀之間的所述第二像素的位移數(shù)據(jù)，獲取所述若干第二像素在所述第一視頻幀中各自對應(yīng)的第一像素的數(shù)據(jù)；

根據(jù)若干所述第一像素的數(shù)據(jù)，獲取所述第二視頻幀中所述目標(biāo)對象的第一關(guān)鍵點數(shù)據(jù)。

4.根據(jù)權(quán)利要求2或3所述的方法，其中，在通過用于生成視頻光流數(shù)據(jù)的深度神經(jīng)網(wǎng)絡(luò)，根據(jù)所述第一視頻幀和所述第二視頻幀獲取視頻光流數(shù)據(jù)之前，所述方法還包括：

使用多個樣本視頻幀序列訓(xùn)練所述深度神經(jīng)網(wǎng)絡(luò)，所述樣本視頻幀序列中的每個樣本視頻幀含有視頻光流數(shù)據(jù)的標(biāo)注信息。

5.根據(jù)權(quán)利要求1～4中任一項所述的方法，其中，所述視頻光流數(shù)據(jù)為光流圖，所述光流圖中的部分像素與所述第一視頻幀中的像素和第二視頻幀中的像素對應(yīng)，并指示所述第一視頻幀中的像素相對于所述第二視頻幀中的對應(yīng)像素的位移信息。

6.根據(jù)權(quán)利要求2～5中任一項所述的方法，其中，所述深度神經(jīng)網(wǎng)絡(luò)為全卷積神經(jīng)網(wǎng)絡(luò)。

7.根據(jù)權(quán)利要求1～6中任一項所述的方法，其中，所述第一關(guān)鍵點和第二關(guān)鍵點均為人體的關(guān)鍵點，或者均為人臉的關(guān)鍵點。

8.一種關(guān)鍵點檢測裝置，包括：

第一獲取模塊，用于根據(jù)視頻序列包括的第一視頻幀和第二視頻幀獲取視頻光流數(shù)據(jù)，所述視頻光流數(shù)據(jù)用于指示在所述第二視頻幀和第一視頻幀之間各個像素的位移數(shù)據(jù)，所述第二視頻幀包括所述視頻序列中時序連續(xù)且位于所述第一視頻幀之前的至少一個視頻幀；

第二獲取模塊，用于根據(jù)已獲得的所述第二視頻幀中目標(biāo)對象的第二關(guān)鍵點數(shù)據(jù)和所述視頻光流數(shù)據(jù)，獲取所述第一視頻幀中所述目標(biāo)對象的第一關(guān)鍵點數(shù)據(jù)。

9.一種電子設(shè)備，包括：處理器、存儲器、通信元件和通信總線，所述處理器、所述存儲器和所述通信元件通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如權(quán)利要求1～7中任一所述的關(guān)鍵點檢測方法對應(yīng)的操作。

10.一種計算機可讀存儲介質(zhì)，所述計算機可讀存儲介質(zhì)存儲有用于執(zhí)行如權(quán)利要求1～7中任一項所述的關(guān)鍵點檢測方法對應(yīng)的操作的可執(zhí)行指令。