[發(fā)明專利]一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 202011478197.1
• 申請日: 2020-12-15
• 公開（公告）號(hào): CN112580488A
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計(jì)）人: 王妙輝;許倬維
• 申請（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 蔣學(xué)超

本發(fā)明提供了一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法與裝置，包括：訓(xùn)練初始化，建立訓(xùn)練模型及指引模型；獲取具有人體姿態(tài)內(nèi)容的圖像；將圖像轉(zhuǎn)換為熱圖；根據(jù)所述熱圖獲取原生姿態(tài)損失及指引損失；根據(jù)聯(lián)合補(bǔ)償損失函數(shù)獲取聯(lián)合補(bǔ)償損失；更新訓(xùn)練模型的權(quán)重以及更新指引模型的權(quán)重；將當(dāng)前訓(xùn)練模型指定為下一指引模型，將當(dāng)前指引模型指定為下一訓(xùn)練模型。本發(fā)明的有益效果在于：提供了一種交替式的自啟發(fā)模型訓(xùn)練框架，通過新設(shè)計(jì)損失函數(shù)進(jìn)行差異性度量、聯(lián)合補(bǔ)償損失的監(jiān)督強(qiáng)化以及指引更新策略的指引更新，實(shí)現(xiàn)訓(xùn)練模型與指引模型的交替訓(xùn)練與指引，使得模型訓(xùn)練經(jīng)驗(yàn)被更多地提取與學(xué)習(xí)，從而獲得更佳的人體姿態(tài)估計(jì)關(guān)鍵點(diǎn)特征表達(dá)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種人體姿態(tài)估計(jì)技術(shù)領(lǐng)域，尤其是指一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法及裝置。

背景技術(shù)

人體姿態(tài)估計(jì)指對于具有人體姿態(tài)內(nèi)容的圖片，輸出人體關(guān)鍵部位在圖中的具體位置與關(guān)系，通過此類定位信息構(gòu)建出人體姿態(tài)骨架圖，并最終以圖形形式來表示人體姿勢的計(jì)算機(jī)視覺任務(wù)。人體姿態(tài)估計(jì)結(jié)果在本質(zhì)上是一組坐標(biāo)，并通過關(guān)鍵點(diǎn)之間的關(guān)系進(jìn)行相互連接，以描述人體的姿勢。在運(yùn)動(dòng)分析、視頻監(jiān)控以及人機(jī)交互等計(jì)算機(jī)視覺應(yīng)用領(lǐng)域中，對人體關(guān)鍵點(diǎn)進(jìn)行定位以構(gòu)建姿勢是必不可少的關(guān)鍵環(huán)節(jié)以及亟待解決的重要問題，儼然成為了計(jì)算機(jī)視覺領(lǐng)域中基礎(chǔ)又非常熱門的研究方向。

二維人體姿態(tài)估計(jì)算法主要可分為基于整體特征的人體姿態(tài)估計(jì)算法、基于模型的人體姿態(tài)估計(jì)算法和基于深度學(xué)習(xí)的人體姿態(tài)估計(jì)算法等。

基于整體特征的人體姿態(tài)估計(jì)算法主要針對人的整體輪廓表征方法進(jìn)行算法設(shè)計(jì)。如何設(shè)計(jì)有效的表征以表達(dá)人體姿態(tài)特征，如何設(shè)計(jì)有效的映射將特征描述轉(zhuǎn)換為擬合函數(shù)，是這類算法研究任務(wù)所在。

基于模型的人體姿態(tài)估計(jì)算法則是研究人體各個(gè)關(guān)鍵部位的空間關(guān)系求解，得到關(guān)鍵點(diǎn)預(yù)測值。由于人體結(jié)構(gòu)基礎(chǔ)部位可視為剛性結(jié)構(gòu)，因此其形體特征的關(guān)聯(lián)信息與空間特征的連接信息往往是具備一定規(guī)律的。

基于深度學(xué)習(xí)的算法能夠從大數(shù)據(jù)中自動(dòng)學(xué)習(xí)人體姿態(tài)特征以及關(guān)節(jié)點(diǎn)空間關(guān)系，實(shí)現(xiàn)更佳精準(zhǔn)的人體姿態(tài)表達(dá)。

然而，各種大規(guī)模模型反映了性能和復(fù)雜性之間的矛盾。高性能模型通常非常復(fù)雜，而簡單模型的性能不夠好。究其原因，現(xiàn)有的人體姿態(tài)方法大多著眼于提高模型的性能，而沒有考慮模型的復(fù)雜性。因此，大規(guī)模模型的實(shí)際部署都表現(xiàn)出較差的可擴(kuò)展性和成本效益。這就要求在盡可能保持預(yù)測精度的前提下，降低模型的規(guī)模和復(fù)雜度。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是：針對現(xiàn)有人體姿態(tài)估計(jì)模型復(fù)雜度過高的問題，提出一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，以提高簡單模型性能，從而降低模型復(fù)雜度需求。

為了解決上述技術(shù)問題，本發(fā)明采用的技術(shù)方案為：一種基于自啟發(fā)的人體姿態(tài)估計(jì)模型訓(xùn)練方法，包括：

S1、訓(xùn)練初始化，建立訓(xùn)練模型及指引模型；

S2、獲取具有人體姿態(tài)內(nèi)容的圖像；

S3、將圖像轉(zhuǎn)換為熱圖，所述熱圖包括基準(zhǔn)標(biāo)簽值熱圖訓(xùn)練模型的輸出熱圖heatmap_n和指引模型的輸出熱圖

S4、根據(jù)所述熱圖獲取原生姿態(tài)損失及指引損失；

S5、根據(jù)聯(lián)合補(bǔ)償損失函數(shù)獲取聯(lián)合補(bǔ)償損失；

S6、更新訓(xùn)練模型的權(quán)重以及更新指引模型的權(quán)重；

S7、將當(dāng)前訓(xùn)練模型指定為下一指引模型，將當(dāng)前指引模型指定為下一訓(xùn)練模型；

S8、返回步驟S2。

進(jìn)一步的，在步驟S4之中，根據(jù)原生姿態(tài)損失計(jì)算公式獲取原生姿態(tài)損失，所述原生姿態(tài)損失計(jì)算公式為：