[發(fā)明專利]一種動(dòng)作行為分析方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201811637784.3
• 申請(qǐng)日: 2018-12-29
• 公開（公告）號(hào): CN109740513B
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 余海桃;吳濤
• 申請(qǐng)（專利權(quán)）人: 青島小鳥看看科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00
• 代理公司: 北京市隆安律師事務(wù)所 11323
• 代理人: 權(quán)鮮枝;吳昊

1.一種動(dòng)作行為分析方法，其特征在于，包括：

通過相機(jī)獲取彩色圖像幀、深度圖像幀，并確定所述彩色圖像幀與深度圖像幀之間像素點(diǎn)的對(duì)應(yīng)關(guān)系；

在所述彩色圖像幀上根據(jù)預(yù)先建立的深度模型進(jìn)行關(guān)鍵點(diǎn)定位，獲得目標(biāo)部位的關(guān)鍵點(diǎn)；

根據(jù)彩色圖像幀與深度圖像幀之間像素點(diǎn)的對(duì)應(yīng)關(guān)系獲取所述關(guān)鍵點(diǎn)的深度值，并根據(jù)所述相機(jī)的參數(shù)和所述關(guān)鍵點(diǎn)的深度值獲取所述關(guān)鍵點(diǎn)的空間位置信息；

根據(jù)所述關(guān)鍵點(diǎn)的空間位置信息對(duì)所述目標(biāo)部位進(jìn)行跟蹤，獲取所述目標(biāo)部位的運(yùn)動(dòng)狀態(tài)信息，以根據(jù)所述目標(biāo)部位的運(yùn)動(dòng)狀態(tài)信息進(jìn)行動(dòng)作行為分析，所述運(yùn)動(dòng)狀態(tài)信息包括由連續(xù)預(yù)設(shè)數(shù)量幀的彩色圖像與深度圖像確定的目標(biāo)部位的關(guān)鍵點(diǎn)的空間位置信息；

其中，所述根據(jù)所述目標(biāo)部位的運(yùn)動(dòng)狀態(tài)信息進(jìn)行動(dòng)作行為分析，包括：

獲取所述目標(biāo)部位的運(yùn)動(dòng)狀態(tài)信息中對(duì)應(yīng)左肘部的所述預(yù)設(shè)數(shù)量的左肘部關(guān)鍵點(diǎn)和對(duì)應(yīng)右肘部的所述預(yù)設(shè)數(shù)量的右肘部關(guān)鍵點(diǎn)；根據(jù)第一圓形的半徑和第二圓形的半徑確定是否滿足揮手行為的條件，所述第一圓形為覆蓋所述預(yù)設(shè)數(shù)量的左肘部關(guān)鍵點(diǎn)的最小圓形區(qū)域，所述第二圓形為覆蓋所述預(yù)設(shè)數(shù)量的右肘部關(guān)鍵點(diǎn)的最小圓形區(qū)域；在所述第一圓形的半徑小于揮手閾值時(shí)，確定滿足揮左手行為的條件，在所述第二圓形的半徑小于揮手閾值時(shí)，確定滿足揮右手行為的條件，在所述第一圓形與第二圓形的半徑均小于揮手閾值時(shí)，確定滿足揮雙手行為的條件；在確定滿足揮手行為的條件時(shí)，獲取所述目標(biāo)部位的運(yùn)動(dòng)狀態(tài)信息中對(duì)應(yīng)左腕部的所述預(yù)設(shè)數(shù)量的左腕部關(guān)鍵點(diǎn)和對(duì)應(yīng)右腕部的所述預(yù)設(shè)數(shù)量的右腕部關(guān)鍵點(diǎn)；獲取由每個(gè)左腕部關(guān)鍵點(diǎn)與所述第一圓形的圓心之間的連線形成的左腕部關(guān)鍵點(diǎn)矢量構(gòu)成的第一集合和由每個(gè)右腕部關(guān)鍵點(diǎn)與所述第二圓形的圓心之間的連線形成的右腕部關(guān)鍵點(diǎn)矢量構(gòu)成的第二集合；確定所述第一集合中左腕部關(guān)鍵點(diǎn)矢量之間的最大夾角為第一目標(biāo)角度，以及確定所述第二集合中右腕部關(guān)鍵點(diǎn)矢量之間的最大夾角為第二目標(biāo)角度；在所述第一目標(biāo)角度位于揮手閾值范圍內(nèi)時(shí)，確定發(fā)生揮左手行為；在所述第二目標(biāo)角度位于揮手閾值范圍內(nèi)時(shí)，確定發(fā)生揮右手行為；在所述第一目標(biāo)角度與第二目標(biāo)角度均位于揮手閾值范圍內(nèi)時(shí)，確定發(fā)生揮雙手行為。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述通過相機(jī)獲取彩色圖像幀，包括：

通過相機(jī)獲取當(dāng)前彩色圖像幀，并對(duì)當(dāng)前彩色圖像幀進(jìn)行雙邊濾波處理，得到濾波后的彩色圖像幀；

將所述濾波后的彩色圖像幀與經(jīng)過雙邊濾波處理的上一彩色圖像幀做差，獲得差值圖；

對(duì)所述差值圖的非前景區(qū)域進(jìn)行去噪處理，將獲得的去噪后的圖像作為當(dāng)前彩色圖像幀的去噪圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述在所述彩色圖像幀上根據(jù)預(yù)先建立的深度模型進(jìn)行關(guān)鍵點(diǎn)定位，獲得目標(biāo)部位的關(guān)鍵點(diǎn)，包括：

在當(dāng)前彩色圖像幀上根據(jù)預(yù)先建立的深度模型進(jìn)行關(guān)鍵點(diǎn)定位，獲得定位到的待平滑關(guān)鍵點(diǎn)；

根據(jù)預(yù)先建立的各個(gè)目標(biāo)部位的關(guān)鍵點(diǎn)之間的近鄰關(guān)系，獲得每個(gè)待平滑關(guān)鍵點(diǎn)的近鄰關(guān)鍵點(diǎn)；

在當(dāng)前彩色圖像幀上獲取位于第一直線上且與所述待平滑關(guān)鍵點(diǎn)相距第一距離的一半的位置，將所述位置確定為基準(zhǔn)點(diǎn)；其中，所述第一直線為所述待平滑關(guān)鍵點(diǎn)及其近鄰關(guān)鍵點(diǎn)之間的連線，所述第一距離為待平滑關(guān)鍵點(diǎn)與其近鄰關(guān)鍵點(diǎn)之間距離的一半；

在當(dāng)前彩色圖像幀上獲取以所述待平滑關(guān)鍵點(diǎn)為圓心，以所述第一距離為半徑的圓形區(qū)域?yàn)樗阉鲄^(qū)域；

獲取當(dāng)前彩色圖像幀對(duì)應(yīng)的搜索模板圖像，所述當(dāng)前彩色圖像幀對(duì)應(yīng)的搜索模板圖像為上一彩色圖像幀的最佳匹配區(qū)域所對(duì)應(yīng)的圖像，在初始彩色圖像幀的基準(zhǔn)點(diǎn)位置確定初始搜索模版圖像，所述搜索模板為以所述第一距離的一半為邊長(zhǎng)的方形模板；

利用當(dāng)前彩色圖像幀對(duì)應(yīng)的搜索模板圖像對(duì)當(dāng)前彩色圖像幀的搜索區(qū)域進(jìn)行匹配，獲取與所述搜索模板圖像匹配的最佳匹配區(qū)域的中心點(diǎn)；

對(duì)所述最佳匹配區(qū)域的中心點(diǎn)進(jìn)行卡爾曼跟蹤，獲取所述中心點(diǎn)的位置變化情況，在所述中心點(diǎn)的位置變化小于預(yù)設(shè)閾值時(shí)，將由上一彩色圖像幀確定的目標(biāo)部位的關(guān)鍵點(diǎn)確定為當(dāng)前彩色圖像幀的該目標(biāo)部位的關(guān)鍵點(diǎn)；在所述中心點(diǎn)的位置變化不小于預(yù)設(shè)閾值時(shí)，將所述中心點(diǎn)確定為當(dāng)前彩色圖像幀的該目標(biāo)部位的關(guān)鍵點(diǎn)。