[發(fā)明專利]一種頭部姿態(tài)估計(jì)方法及其實(shí)現(xiàn)系統(tǒng)、存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011019897.4
• 申請(qǐng)日: 2020-09-25
• 公開(kāi)（公告）號(hào): CN112132058B
• 公開(kāi)（公告）日: 2022-12-27
• 發(fā)明（設(shè)計(jì)）人: 李振;胡宇鵬;李學(xué)慶;展鵬;李偉
• 申請(qǐng)（專利權(quán)）人: 山東大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/44;G06V10/764;G06V10/766;G06V10/82;G06N3/04
• 代理公司: 濟(jì)南金迪知識(shí)產(chǎn)權(quán)代理有限公司 37219
• 代理人: 許德山

1.一種基于多層級(jí)圖像特征精煉學(xué)習(xí)的頭部姿態(tài)估計(jì)方法，其特征在于，包括步驟如下：

S1：獲取圖像，對(duì)圖像進(jìn)行初步人臉估計(jì)，刪除不包含人臉的圖片，選出包含人臉的圖片，框出人臉框后進(jìn)行裁剪；

S2：對(duì)裁剪后的圖片進(jìn)行小波變換，將小波變換處理之后的四通道信息與步驟S1裁剪后的RGB三通道圖像進(jìn)行拼接；

S3：將拼接后的圖像信息送入粗粒度判別網(wǎng)絡(luò)，估計(jì)出頭部姿態(tài)的大致區(qū)間，根據(jù)各自區(qū)間劃分，組合為新劃分的區(qū)間數(shù)據(jù)集；

S4：將新劃分的區(qū)間數(shù)據(jù)集送入細(xì)粒度判別網(wǎng)絡(luò)，估計(jì)出頭部姿態(tài)具體角度值(x,y,z)，x、y、z分別代表俯仰角、偏航角與翻滾角；

所述步驟S2中，使用Haar小波對(duì)裁剪后的圖片進(jìn)行小波變換，是指：

對(duì)人臉幾何圖像子塊進(jìn)行如下小波變換，如式(I)所示：

式(I)中，表示人臉幾何圖像子塊，i表示變換之后的圖像子塊，i₁₁是子塊的低頻系數(shù)，i₁₂，i₂₁，i₂₂分別是的水平、垂直、對(duì)角線方向的高頻系數(shù)；

H是指Haar變換矩陣，如式(II)所示：

將當(dāng)前頻帶劃分為四個(gè)子帶，分別為低頻分量、水平細(xì)節(jié)分量、垂直細(xì)節(jié)分量和對(duì)角線細(xì)節(jié)分量，即小波變換處理之后的四通道信息；經(jīng)過(guò)Haar變換后分解成第一尺度下四個(gè)頻域分量，低頻系數(shù)構(gòu)成的低頻分量，集中了幾何圖像的大部分信息；水平方向的高頻系數(shù)構(gòu)成的水平細(xì)節(jié)分量，反映了幾何圖像沿水平方向的邊緣信息；垂直方向的高頻系數(shù)構(gòu)成的垂直細(xì)節(jié)分量，保持了幾何圖像沿垂直方向的邊緣信息；對(duì)角線方向的高頻系數(shù)構(gòu)成的對(duì)角線細(xì)節(jié)分量，保持了幾何圖像沿對(duì)角線方向的細(xì)節(jié)特征；

步驟S2中，將小波變換處理之后的四通道信息與RGB三通道圖像進(jìn)行拼接，是指將R通道、G通道、B通道、低頻分量通道、水平細(xì)節(jié)分量通道、垂直細(xì)節(jié)分量通道和對(duì)角線細(xì)節(jié)分量通道進(jìn)行拼接，RGB三通道包括R通道、G通道、B通道。

2.根據(jù)權(quán)利要求1所述的一種基于多層級(jí)圖像特征精煉學(xué)習(xí)的頭部姿態(tài)估計(jì)方法，其特征在于，步驟S1中，圖像處理的方法具體包括：

S11:通過(guò)單目攝像裝置獲取圖像；

S12:使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)對(duì)步驟S11獲取的圖像進(jìn)行預(yù)處理：

首先，將圖像進(jìn)行不同尺度的變換，以適應(yīng)不同大小人臉的檢測(cè)；

然后，將圖像送入建議區(qū)域網(wǎng)絡(luò)，經(jīng)過(guò)建議區(qū)域網(wǎng)絡(luò)處理之后，輸出為大量推測(cè)可能是人臉框的坐標(biāo)位置，即大量推測(cè)可能為人臉包圍盒的信息；

接著，將建議區(qū)域網(wǎng)絡(luò)的輸出送入優(yōu)化網(wǎng)絡(luò)，優(yōu)化網(wǎng)絡(luò)檢測(cè)出大量的無(wú)效人臉包圍盒并進(jìn)行刪除，輸出優(yōu)化后的人臉框的坐標(biāo)位置；

最后，將優(yōu)化后的人臉框的坐標(biāo)位置輸入輸出網(wǎng)絡(luò)再進(jìn)行進(jìn)一步優(yōu)化，輸出最終的人臉區(qū)域與人臉上5個(gè)標(biāo)志點(diǎn)；

步驟S1中，使用多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)框出人臉框后進(jìn)行裁剪，是指：對(duì)輸出的最終的人臉區(qū)域進(jìn)行裁剪，獲取人臉幾何圖像子塊。

3.根據(jù)權(quán)利要求2所述的一種基于多層級(jí)圖像特征精煉學(xué)習(xí)的頭部姿態(tài)估計(jì)方法，其特征在于，所述輸出網(wǎng)絡(luò)采用256*256的全連接層。

4.根據(jù)權(quán)利要求1所述的一種基于多層級(jí)圖像特征精煉學(xué)習(xí)的頭部姿態(tài)估計(jì)方法，其特征在于，所述粗粒度判別網(wǎng)絡(luò)與所述細(xì)粒度判別網(wǎng)絡(luò)結(jié)構(gòu)相同，均包括人體頭部輸入模塊、特征融合模塊、評(píng)分函數(shù)模塊、特征凝練模塊與軟階段回歸網(wǎng)絡(luò)模塊；

所述人體頭部輸入模塊包括三支流S_L、S_M、S_R，支流S_L包括依次連接的三個(gè)模塊Block_L，模塊Block_L包括可分離式二維卷積層、激活函數(shù)ReLU；支流S_M包括依次連接的三個(gè)模塊Block_M，模塊Block_M包括可分離式二維卷積層、激活函數(shù)Tanh；支流S_R包括依次連接的三個(gè)模塊Block_R，模塊Block_R包括可分離式二維卷積層、激活函數(shù)Sigmoid。