[發(fā)明專利]一種頭部姿態(tài)估計(jì)方法、裝置、設(shè)備及可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111521665.3
• 申請日: 2021-12-13
• 公開（公告）號: CN114495193A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 施惠杰;楊青
• 申請（專利權(quán)）人: 度小滿科技（北京）有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/04;G06N3/08;G06V20/64
• 代理公司: 北京知帆遠(yuǎn)景知識產(chǎn)權(quán)代理有限公司 11890
• 代理人: 劉巖磊

1.一種頭部姿態(tài)估計(jì)方法，其特征在于，包括：

接收當(dāng)前待檢測的圖像幀，調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對所述圖像幀進(jìn)行頭部姿態(tài)預(yù)測，作為第一姿態(tài)角預(yù)測結(jié)果；

接收歷史預(yù)測姿態(tài)信息，調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)所述歷史預(yù)測姿態(tài)信息的姿態(tài)時(shí)序變化規(guī)律進(jìn)行姿態(tài)角預(yù)測，作為第二姿態(tài)角預(yù)測結(jié)果；其中，所述歷史預(yù)測姿態(tài)信息進(jìn)行預(yù)測依據(jù)的圖像與所述圖像幀出自針對相同對象采集生成的連續(xù)運(yùn)動序列圖像；

根據(jù)所述第一姿態(tài)角預(yù)測結(jié)果和所述第二姿態(tài)角預(yù)測結(jié)果生成姿態(tài)角預(yù)測結(jié)果。

2.根據(jù)權(quán)利要求1所述的頭部姿態(tài)估計(jì)方法，其特征在于，所述調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對所述圖像幀進(jìn)行頭部姿態(tài)預(yù)測，包括：

調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對所述圖像進(jìn)行深度圖像空間特征提取，得到空間特征；

將所述空間特征映射到各頭部姿態(tài)角對應(yīng)的維度空間，得到角度特征；其中，所述頭部姿態(tài)角包括：俯仰角、滾轉(zhuǎn)角和偏航角；

根據(jù)所述角度特征進(jìn)行角度分類，得到第一姿態(tài)角預(yù)測結(jié)果。

3.根據(jù)權(quán)利要求2所述的頭部姿態(tài)估計(jì)方法，其特征在于，所述調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對所述圖像進(jìn)行深度圖像空間特征提取，包括：調(diào)用ResNet對所述圖像進(jìn)行深度圖像空間特征提取。

4.根據(jù)權(quán)利要求1所述的頭部姿態(tài)估計(jì)方法，其特征在于，所述調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)所述歷史預(yù)測姿態(tài)信息的姿態(tài)時(shí)序變化規(guī)律進(jìn)行姿態(tài)角預(yù)測，包括：

接收歷史預(yù)測姿態(tài)信息，調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)對所述歷史頭部姿態(tài)角進(jìn)行時(shí)序特征提取，得到時(shí)序特征；

將所述時(shí)序特征映射到姿態(tài)角標(biāo)簽空間，得到第二姿態(tài)角預(yù)測結(jié)果。

5.根據(jù)權(quán)利要求1所述的頭部姿態(tài)估計(jì)方法，其特征在于，所述調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)對所述歷史頭部姿態(tài)角進(jìn)行時(shí)序特征提取，包括：

調(diào)用LSTM網(wǎng)絡(luò)對所述歷史頭部姿態(tài)角進(jìn)行時(shí)序特征提取。

6.根據(jù)權(quán)利要求1所述的頭部姿態(tài)估計(jì)方法，其特征在于，所述根據(jù)所述第一姿態(tài)角預(yù)測結(jié)果和所述第二姿態(tài)角預(yù)測結(jié)果生成姿態(tài)角預(yù)測結(jié)果，包括：

對所述第一姿態(tài)角預(yù)測結(jié)果和所述第二姿態(tài)角預(yù)測結(jié)果進(jìn)行加權(quán)求和，將加權(quán)和作為所述姿態(tài)角預(yù)測結(jié)果。

7.一種頭部姿態(tài)估計(jì)裝置，其特征在于，包括：

第一預(yù)測模塊，用于接收當(dāng)前待檢測的圖像幀，調(diào)用卷積神經(jīng)網(wǎng)絡(luò)對所述圖像幀進(jìn)行頭部姿態(tài)預(yù)測，作為第一姿態(tài)角預(yù)測結(jié)果；

第二預(yù)測模塊，用于接收歷史預(yù)測姿態(tài)信息，調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)所述歷史預(yù)測姿態(tài)信息的姿態(tài)時(shí)序變化規(guī)律進(jìn)行姿態(tài)角預(yù)測，作為第二姿態(tài)角預(yù)測結(jié)果；其中，所述歷史預(yù)測姿態(tài)信息進(jìn)行預(yù)測依據(jù)的圖像與所述圖像幀出自針對相同對象采集生成的連續(xù)運(yùn)動序列圖像；

結(jié)果生成模塊，用于根據(jù)所述第一姿態(tài)角預(yù)測結(jié)果和所述第二姿態(tài)角預(yù)測結(jié)果生成姿態(tài)角預(yù)測結(jié)果。

8.根據(jù)權(quán)利要求7所述的頭部姿態(tài)估計(jì)裝置，其特征在于，所述第二預(yù)測模塊包括：

特征提取子模塊，用于接收歷史預(yù)測姿態(tài)信息，調(diào)用循環(huán)神經(jīng)網(wǎng)絡(luò)對所述歷史頭部姿態(tài)角進(jìn)行時(shí)序特征提取，得到時(shí)序特征；

特征映射子模塊，用于將所述時(shí)序特征映射到姿態(tài)角標(biāo)簽空間，得到第二姿態(tài)角預(yù)測結(jié)果。

9.一種計(jì)算機(jī)設(shè)備，其特征在于，包括：

存儲器，用于存儲計(jì)算機(jī)程序；

處理器，用于執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述頭部姿態(tài)估計(jì)方法的步驟。

10.一種可讀存儲介質(zhì)，其特征在于，所述可讀存儲介質(zhì)上存儲有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至6任一項(xiàng)所述頭部姿態(tài)估計(jì)方法的步驟。