[發(fā)明專利]人體行為識別方法、裝置、設(shè)備、存儲介質(zhì)以及程序產(chǎn)品有效
| 申請?zhí)枺?/td> | 202110467154.1 | 申請日： | 2021-04-28 |
| 公開（公告）號： | CN113139483B | 公開（公告）日： | 2023-09-29 |
| 發(fā)明（設(shè)計）人： | 胡韜;蘇翔博 | 申請（專利權(quán)）人： | 北京百度網(wǎng)訊科技有限公司 |
| 主分類號： | G06V40/20 | 分類號： | G06V40/20;G06V20/40;G06V10/25;G06V10/82;G06N3/0464 |
| 代理公司： | 北京英賽嘉華知識產(chǎn)權(quán)代理有限責(zé)任公司 11204 | 代理人： | 王達(dá)佐;馬曉亞 |
| 地址： | 100085 北京市*** | 國省代碼： | 北京;11 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 人體 行為 識別 方法 裝置 設(shè)備 存儲 介質(zhì) 以及 程序 產(chǎn)品 | ||
1.一種人體行為識別方法，包括：
檢測目標(biāo)圖像中的目標(biāo)人體框和目標(biāo)物體框；
基于所述目標(biāo)人體框和所述目標(biāo)物體框進(jìn)行關(guān)系建模，生成圖模型，其中，所述圖模型中的節(jié)點是所述目標(biāo)人體框的特征或所述目標(biāo)物體框的特征，所述圖模型中的邊是所述目標(biāo)人體框與所述目標(biāo)物體框之間的圖像關(guān)系表示；
在所述圖模型中的節(jié)點之間進(jìn)行特征傳播，更新所述圖模型；
對所述圖模型中的人體與物體的節(jié)點對進(jìn)行預(yù)測，得到所述目標(biāo)圖像中的人體行為；
其中，所述基于所述目標(biāo)人體框和所述目標(biāo)物體框進(jìn)行關(guān)系建模，生成圖模型，包括：
分別對所述目標(biāo)人體框和所述目標(biāo)物體框進(jìn)行特征提取，得到所述目標(biāo)人體框的特征和所述目標(biāo)物體框的特征；
將所述目標(biāo)人體框的特征和所述目標(biāo)物體框的特征分別編碼成所述圖模型中的節(jié)點；
生成所述目標(biāo)人體框與所述目標(biāo)物體框之間的圖像關(guān)系表示，作為所述圖模型中的邊，其中，所述圖像關(guān)系表示用于表征所述目標(biāo)人體框與所述目標(biāo)物體框在所述目標(biāo)圖像上的關(guān)系表示；其中，所述在所述圖模型中的節(jié)點之間進(jìn)行特征傳播，更新所述圖模型，包括：
對于所述圖模型中的節(jié)點，執(zhí)行N次特征混合步驟：接收與所述節(jié)點連接的其他節(jié)點利用所述圖模型中的邊傳播的特征，將所述節(jié)點的特征與接收的特征兩兩進(jìn)行特征混合，得到多個混合特征，將所述多個混合特征合并，得到合并混合特征，以及利用所述合并混合特征更新所述節(jié)點的特征，其中，N為正整數(shù)。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述對所述圖模型中的人體與物體的節(jié)點對進(jìn)行預(yù)測，得到所述目標(biāo)圖像中的人體行為，包括：
利用自注意力將所述圖模型中的人體與物體的節(jié)點對進(jìn)行特征混合，得到目標(biāo)混合特征；
將所述目標(biāo)混合特征輸入至全連接層進(jìn)行分類，得到所述人體行為。
3.根據(jù)權(quán)利要求1所述的方法，其中，所述分別對所述目標(biāo)人體框和所述目標(biāo)物體框進(jìn)行特征提取，包括：
使用感興趣區(qū)域ROI池化操作分別對所述目標(biāo)人體框和所述目標(biāo)物體框進(jìn)行特征提取。
4.根據(jù)權(quán)利要求1所述的方法，其中，所述圖像關(guān)系表示包括以下至少一項：所述目標(biāo)人體框與所述目標(biāo)物體框的交接占比、所述目標(biāo)人體框和所述目標(biāo)物體框的大小占比。
5.根據(jù)權(quán)利要求1所述的方法，其中，所述檢測目標(biāo)圖像中的目標(biāo)人體框和目標(biāo)物體框，包括：
將所述目標(biāo)圖像輸入至預(yù)先訓(xùn)練的特征提取模型，得到所述目標(biāo)圖像的圖像特征；
將所述圖像特征輸入至預(yù)先訓(xùn)練的目標(biāo)檢測模型，得到所述目標(biāo)圖像中的人體框和物體框；
將所述人體框和所述物體框先經(jīng)過置信度閾值過濾再經(jīng)過非極大值抑制，得到所述目標(biāo)人體框和所述目標(biāo)物體框。
6.根據(jù)權(quán)利要求1-5之一所述的方法，其中，所述方法還包括：
對原始圖像進(jìn)行預(yù)處理，得到所述目標(biāo)圖像，其中，所述預(yù)處理包括以下至少一項：縮放到固定尺寸、像素值歸一化、減去像素值均值、除以像素值方差。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于北京百度網(wǎng)訊科技有限公司，未經(jīng)北京百度網(wǎng)訊科技有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202110467154.1/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
