[發(fā)明專利]三維人體姿態(tài)預測方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201810395266.9
• 申請日: 2018-04-27
• 公開（公告）號: CN108960036B
• 公開（公告）日: 2021-11-09
• 發(fā)明（設(shè)計）人: 汪旻;陳曦鵬;劉文韜;錢晨
• 申請（專利權(quán)）人: 北京市商湯科技開發(fā)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京中知恒瑞知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11889
• 代理人: 吳迪

本申請的實施方式公開了一種三維人體姿態(tài)預測方法、神經(jīng)網(wǎng)絡(luò)訓練方法、裝置、電子設(shè)備、計算機可讀存儲介質(zhì)及計算機程序，其中的三維人體姿態(tài)預測方法主要包括：獲取待處理圖像中的人體關(guān)鍵點信息以及人體關(guān)鍵點的深度前后關(guān)系；將所述人體關(guān)鍵點信息和人體關(guān)鍵點的深度前后關(guān)系提供給第一神經(jīng)網(wǎng)絡(luò)，經(jīng)由所述第一神經(jīng)網(wǎng)絡(luò)執(zhí)行三維人體姿態(tài)預測處理，以獲取三維人體姿態(tài)預測結(jié)果；其中，所述人體關(guān)鍵點的深度前后關(guān)系用于表示人體關(guān)鍵點之間的深度位置相對關(guān)系。本申請?zhí)峁┑募夹g(shù)方案有利于提高三維人體姿態(tài)預測的準確性，從而有利于避免由于三維人體姿態(tài)預測錯誤而對互動娛樂以及行為分析等產(chǎn)生不良影響。

技術(shù)領(lǐng)域

本申請涉及計算機視覺技術(shù)，尤其是涉及一種三維人體姿態(tài)預測方法、三維人體姿態(tài)預測裝置、神經(jīng)網(wǎng)絡(luò)訓練方法、神經(jīng)網(wǎng)絡(luò)訓練裝置、電子設(shè)備、計算機可讀存儲介質(zhì)以及計算機程序。

背景技術(shù)

三維人體姿態(tài)預測在互動娛樂以及行為分析等技術(shù)領(lǐng)域中，發(fā)揮著一定的作用。

在三維人體姿態(tài)預測過程中，往往會存在預測錯誤，例如，手臂應(yīng)該位于身體前側(cè)，而預測的結(jié)果包括：手臂位于身體后側(cè)。三維人體姿態(tài)預測錯誤會對互動娛樂以及行為分析等產(chǎn)生不良影響。如何提高三維人體姿態(tài)預測的準確性，是一個值得關(guān)注的技術(shù)問題。

發(fā)明內(nèi)容

本申請實施方式提供一種三維人體姿態(tài)預測以及訓練神經(jīng)網(wǎng)絡(luò)的技術(shù)方案。

根據(jù)本申請實施方式其中一個方面，提供一種三維人體姿態(tài)預測方法，所述方法包括：獲取待處理圖像中的人體關(guān)鍵點信息以及人體關(guān)鍵點的深度前后關(guān)系；將所述人體關(guān)鍵點信息和人體關(guān)鍵點的深度前后關(guān)系提供給第一神經(jīng)網(wǎng)絡(luò)，經(jīng)由所述第一神經(jīng)網(wǎng)絡(luò)執(zhí)行三維人體姿態(tài)預測處理，以獲取三維人體姿態(tài)預測結(jié)果；其中，所述人體關(guān)鍵點的深度前后關(guān)系用于表示人體關(guān)鍵點之間的深度位置相對關(guān)系。

在本申請一實施方式中，所述人體關(guān)鍵點信息包括：人體關(guān)鍵點在待處理圖像中的二維坐標。

在本申請又一實施方式中，所述人體關(guān)鍵點的深度前后關(guān)系包括：表征一個人體關(guān)鍵點位于另一個人體關(guān)鍵點之前或之后的信息。

在本申請再一實施方式中，所述人體關(guān)鍵點的深度前后關(guān)系包括：人體關(guān)鍵點的深度前后關(guān)系矩陣；其中，所述矩陣的行數(shù)和列數(shù)為人體關(guān)鍵點的數(shù)量，所述矩陣的第n行表示第n個人體關(guān)鍵點，所述矩陣的第m列表示第m個人體關(guān)鍵點，所述矩陣第n行第m列的數(shù)值表示第n個人體關(guān)鍵點在第m個人體關(guān)鍵點之前或之后的概率值。

在本申請再一實施方式中，所述人體關(guān)鍵點的深度前后關(guān)系的獲取過程包括：將所述待處理圖像提供給第二神經(jīng)網(wǎng)絡(luò)，經(jīng)由所述第二神經(jīng)網(wǎng)絡(luò)執(zhí)行人體關(guān)鍵點的深度前后關(guān)系預測處理，以獲取人體關(guān)鍵點的深度前后關(guān)系。

在本申請再一實施方式中，所述執(zhí)行三維人體姿態(tài)預測處理包括：根據(jù)人體關(guān)鍵點的深度前后關(guān)系信息預測人體關(guān)鍵點深度值；根據(jù)人體關(guān)鍵點深度值和人體關(guān)鍵點信息預測三維人體姿態(tài)。

在本申請再一實施方式中，所述三維人體姿態(tài)預測結(jié)果包括：人體關(guān)鍵點在三維空間中的坐標。

在本申請再一實施方式中，所述第一神經(jīng)網(wǎng)絡(luò)是利用多條包含有人體關(guān)鍵點樣本信息以及人體關(guān)鍵點的深度前后關(guān)系樣本信息的數(shù)據(jù)樣本訓練而成的。

根據(jù)本申請實施方式的其中再一個方面，提供一種神經(jīng)網(wǎng)絡(luò)的訓練方法，用于訓練神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)樣本包括：人體關(guān)鍵點樣本信息、人體關(guān)鍵點的深度前后關(guān)系樣本信息以及用于監(jiān)督的標注信息，所述訓練方法包括：將數(shù)據(jù)樣本中的人體關(guān)鍵點樣本信息以及人體關(guān)鍵點的深度前后關(guān)系樣本信息，提供給待訓練的第一神經(jīng)網(wǎng)絡(luò)，經(jīng)由所述待訓練的第一神經(jīng)網(wǎng)絡(luò)執(zhí)行三維人體姿態(tài)預測處理；利用所述數(shù)據(jù)樣本中的標注信息對所述待訓練的第一神經(jīng)網(wǎng)絡(luò)進行監(jiān)督學習。