[發(fā)明專利]基于關系解析網(wǎng)絡的人體姿態(tài)估計方法

在審

• 申請?zhí)枺?/td>: 202011054641.7
• 申請日: 2020-09-29
• 公開（公告）號: CN112215110A
• 公開（公告）日: 2021-01-12
• 發(fā)明（設計）人: 劉超;池明旻;周鵬豪;張文琦
• 申請（專利權）人: 北京北斗天巡科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都弘毅天承知識產(chǎn)權代理有限公司 51230
• 代理人: 郝迎賓

1.基于關系解析網(wǎng)絡的人體姿態(tài)估計方法，其特征在于，包括如下步驟：

步驟1、給定一個輸入圖像，檢測所有人體的邊界框b_h和物體的邊界框b_o及人體關鍵點kp_h，使用檢測到的人體關鍵點kp_h構造身體部位框b_p,h；

步驟2、獲得人體特征f_h、場景特征f_s、物體特征f_o和人體部位特征f_p,h；

步驟3、檢測每個人的HOI；

步驟4、預測動作；

步驟5、計算HOI分數(shù)。

2.根據(jù)權利要求1所述的基于關系解析網(wǎng)絡的人體姿態(tài)估計方法，其特征在于，步驟1中，使用Mask R-CNN檢測所有人體的邊界框b_h和物體的邊界框b_o及人體關鍵點kp_h；

步驟2具體為：通過ROI Align操作從ResNet-50 C4的共享特征圖中提取特征，并將特征饋入ResNet-50 C5，以獲得人體特征f_h、物體特征f_o和人體部位特征f_p,h；

通過自適應平均池獲得場景特征f_s，從ResNet-50 C4的共享特征圖中提取特征，將特征饋入ResNet-50 C5。

3.根據(jù)權利要求1所述的基于關系解析網(wǎng)絡的人體姿態(tài)估計方法，其特征在于，步驟3中，通過Object-Bodypart Graph檢測出每個人的HOI，所述Object-Bodypart Graph包括全身各部分節(jié)點和所有檢測到的物體對象節(jié)點；

每個身體部位節(jié)點與所有對象節(jié)點連接，沒有物體節(jié)點或身體部位節(jié)點的內(nèi)部連接，對于身體部位，假定與所有外圍對象都有交互連接；

當物體和身體部位對沒有關系標簽時，引入名稱為Object-Bodypart Attention的注意力機制，以隱式學習對象即物體o，與人類h的一個身體部位p之間的軟關系概率或注意力分數(shù)α_o,p，此外，α_o,p能夠動態(tài)更新鄰接矩陣，并通過節(jié)點之間邊緣控制消息傳遞。

4.根據(jù)權利要求3所述的基于關系解析網(wǎng)絡的人體姿態(tài)估計方法，其特征在于，對每個人物構造一個完整的Object-Bodypart Graph，當給出每個人物的完整的Object-BodypartGraph時，鄰接矩陣自動估計身體部位p和物體o之間的關系，并通過消息傳遞對物體-身體部位節(jié)點進行精煉，更新后的圖形稱為refined Object-Bodypart Graph，精煉的對象節(jié)點用于預測物體o和人類h的各種動作的概率分數(shù)

5.根據(jù)權利要求1或4所述的基于關系解析網(wǎng)絡的人體姿態(tài)估計方法，其特征在于，步驟3具體包括如下步驟：

步驟301、利用多層感知器R_O(f_o，f_p)估計注意力分數(shù)α_o,p，其中，輸入是通過連接對象和身體部位特征的連接特征，輸出是針對每個表示的身體部位的證據(jù)分數(shù)e_o,p，證據(jù)分數(shù)表示對象o和某個身體部位p之間的關系；

證據(jù)分數(shù)計算如下：e_o,p＝R_O(f_o,f_p)；

通過softmax函數(shù)計算注意力分數(shù)α_o,p：

其中，N是物體節(jié)點的個數(shù)；

步驟302、獲得注意力分數(shù)α_o,p之后，通過聚合其他身體部位節(jié)點的特征來更新軟鄰接矩陣以定義對象節(jié)點，其中，節(jié)點特征的線性組合用于通過以下方式生成精煉的對象特征：

精煉的身體部位特征通過下面方式計算：