[發(fā)明專利]姿態(tài)估計(jì)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010176868.2
• 申請(qǐng)日: 2020-03-13
• 公開(kāi)（公告）號(hào): CN111401230A
• 公開(kāi)（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 王靖博;林達(dá)華;顏思捷;熊元俊
• 申請(qǐng)（專利權(quán)）人: 深圳市商湯科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京林達(dá)劉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開(kāi)涉及一種姿態(tài)估計(jì)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)，所述方法包括：對(duì)待處理圖像幀序列在時(shí)間維度上進(jìn)行降維，確定不同時(shí)間尺度的多個(gè)第一特征圖序列；根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，確定所述待處理圖像幀序列中各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征；對(duì)所述各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征進(jìn)行數(shù)據(jù)處理，確定各待處理圖像幀對(duì)應(yīng)的預(yù)測(cè)三維姿態(tài)。本公開(kāi)實(shí)施例可以輸出更加平滑的預(yù)測(cè)三維姿態(tài)。

技術(shù)領(lǐng)域

本公開(kāi)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種姿態(tài)估計(jì)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)。

背景技術(shù)

姿態(tài)估計(jì)是指從輸入的圖像或者視頻中，估計(jì)出骨架關(guān)節(jié)點(diǎn)的坐標(biāo)。因其廣泛的應(yīng)用場(chǎng)景，越來(lái)越受到學(xué)術(shù)界和工業(yè)界的關(guān)注，例如，智能安防，行為識(shí)別，虛擬現(xiàn)實(shí)，游戲建模等場(chǎng)景都需要用到姿態(tài)估計(jì)技術(shù)。但是，由于單目傳感器采集的二維圖像中缺少景深信息，以及存在遮擋等問(wèn)題，導(dǎo)致三維姿態(tài)估計(jì)的輸出結(jié)果的動(dòng)作連貫性和準(zhǔn)確性較低。

發(fā)明內(nèi)容

本公開(kāi)提出了一種姿態(tài)估計(jì)方法及裝置、電子設(shè)備和存儲(chǔ)介質(zhì)的技術(shù)方案。

根據(jù)本公開(kāi)的第一方面，提供了一種姿態(tài)估計(jì)方法方法，包括：對(duì)待處理圖像幀序列在時(shí)間維度上進(jìn)行降維，確定不同時(shí)間尺度的多個(gè)第一特征圖序列；根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，確定所述待處理圖像幀序列中各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征；對(duì)所述各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征進(jìn)行數(shù)據(jù)處理，確定各待處理圖像幀對(duì)應(yīng)的預(yù)測(cè)三維姿態(tài)。

利用待處理圖像幀序列在時(shí)間維度上降維得到的不同時(shí)間尺度的多個(gè)第一特征圖序列來(lái)確定姿態(tài)特征，使得可以通過(guò)考慮時(shí)間維度的冗余性來(lái)提高姿態(tài)特征的準(zhǔn)確性，進(jìn)而根據(jù)姿態(tài)特征進(jìn)行三維姿態(tài)估計(jì)時(shí)，可以輸出更加平滑的預(yù)測(cè)三維姿態(tài)。

在一種可能的實(shí)現(xiàn)方式中，所述對(duì)待處理圖像幀序列在時(shí)間維度上進(jìn)行降維，確定不同時(shí)間尺度的多個(gè)第一特征圖序列，包括：利用二維姿態(tài)估計(jì)算法對(duì)所述待處理圖像幀序列進(jìn)行數(shù)據(jù)處理，確定所述待處理圖像幀序列對(duì)應(yīng)的二維姿態(tài)數(shù)據(jù)；對(duì)所述二維姿態(tài)數(shù)據(jù)在時(shí)間維度上進(jìn)行降維，確定所述不同時(shí)間尺度的多個(gè)第一特征圖序列。

通過(guò)確定待處理圖像幀序列對(duì)應(yīng)的二維姿態(tài)數(shù)據(jù)，使得為后續(xù)在時(shí)間維度上確定不同時(shí)間尺度的多個(gè)第一特征圖序列做好了準(zhǔn)備工作。

在一種可能的實(shí)現(xiàn)方式中，所述對(duì)所述二維姿態(tài)數(shù)據(jù)在時(shí)間維度上進(jìn)行降維，確定所述不同時(shí)間尺度的多個(gè)第一特征圖序列，包括：根據(jù)所述二維姿態(tài)數(shù)據(jù)，通過(guò)在時(shí)間維度上執(zhí)行多次下采樣操作，確定所述不同時(shí)間尺度的多個(gè)第一特征圖序列。

通過(guò)對(duì)待處理圖像幀序列在時(shí)間維度進(jìn)行壓縮，從而可以降低計(jì)算量，提高三維姿態(tài)估計(jì)的效率。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，確定所述待處理圖像幀序列中各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征，包括：根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，確定目標(biāo)時(shí)間尺度下的多個(gè)第二特征圖序列，其中，所述目標(biāo)時(shí)間尺度為所述待處理圖像幀序列對(duì)應(yīng)的時(shí)間尺度；將所述目標(biāo)時(shí)間尺度下的多個(gè)第二特征圖序列進(jìn)行特征融合，確定所述各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征。

將不同時(shí)間尺度的多個(gè)第一特征圖序列均恢復(fù)到目標(biāo)時(shí)間尺度，進(jìn)而再將目標(biāo)時(shí)間尺度下的多個(gè)第二特征圖序列進(jìn)行特征融合，使得融合后的特征具有時(shí)間維度的冗余性，進(jìn)而可以得到準(zhǔn)確度較高的各待處理圖像幀對(duì)應(yīng)的姿態(tài)特征。

在一種可能的實(shí)現(xiàn)方式中，所述根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，確定目標(biāo)時(shí)間尺度下的多個(gè)第二特征圖序列，包括：根據(jù)所述不同時(shí)間尺度的多個(gè)第一特征圖序列，通過(guò)在時(shí)間維度上執(zhí)行多次上采樣操作，確定不同時(shí)間尺度的多個(gè)第三特征圖序列；針對(duì)任一時(shí)間尺度，將該時(shí)間尺度下的第一特征圖序列和第三特征圖序列進(jìn)行特征融合，確定該時(shí)間尺度下的第四特征圖序列；針對(duì)不同時(shí)間尺度下的第四特征圖序列執(zhí)行上采樣操作，確定所述目標(biāo)時(shí)間尺度下的多個(gè)第二特征圖序列。