[發(fā)明專利]基于球面特征的魚眼圖像特征處理方法、系統(tǒng)及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110693974.2
• 申請(qǐng)日: 2021-06-22
• 公開（公告）號(hào): CN113569636A
• 公開（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 苗敬博;劉延偉
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院信息工程研究所
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 蔣娟

1.一種基于球面特征的魚眼圖像特征處理方法，其特征在于，包括：

提取魚眼圖像中的多尺度特征得到多尺度特征圖；

將所述多尺度特征圖輸入至經(jīng)訓(xùn)練的魚眼圖像特征處理模型中，得到所述魚眼圖像特征處理模型輸出的所述魚眼圖像的融合特征圖，其中所述魚眼圖像特征處理模型用于從所述多尺度特征圖提取平面特征和球面特征，并基于空間自注意力機(jī)制提取含有球域信息的平面特征，并將含有球域信息的平面特征與所述球面特征進(jìn)行融合以得到所述融合特征圖。

2.根據(jù)權(quán)利要求1所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述魚眼圖像特征處理模型包括特征圖提取層、特征圖優(yōu)化層和特征圖融合層；

其中，所述特征圖提取層用于提取所述多尺度特征圖中的平面特征和球面特征；

所述特征圖優(yōu)化層用于基于空間自注意力機(jī)制提取含有球域信息的平面特征；以及

所述特征圖融合層用于將含有所述球域信息的平面特征與和所述球面特征融合得到融合特征圖。

3.根據(jù)權(quán)利要求1所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述基于空間自注意力機(jī)制提取含有球域信息的平面特征包括：使用所述球面特征指導(dǎo)所述平面特征關(guān)注到所述魚眼圖像中相應(yīng)的失真位置信息。

4.根據(jù)權(quán)利要求1所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述提取所述多尺度特征圖中的平面特征和球面特征包括：

提取所述多尺度特征中的中間層進(jìn)行球面卷積，同時(shí)利用路徑增強(qiáng)和上采樣分別將所述球面特征傳遞到其它層以共享信息。

5.根據(jù)權(quán)利要求1所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述方法還包括：通過(guò)上下文感受模塊對(duì)輸出的所述融合特征圖進(jìn)行卷積運(yùn)算，得到特征增強(qiáng)的融合特征圖，

其中，所述通過(guò)上下文感受模塊對(duì)輸出的所述融合特征圖進(jìn)行卷積運(yùn)算包括：采用了小卷積核、多分支結(jié)構(gòu)進(jìn)行不同尺度的卷積運(yùn)算，通過(guò)不同的感受野增強(qiáng)多個(gè)卷積層內(nèi)的上下文信息的提取能力，并采用空間通道可分離的卷積分解方式，分別在頻域和空間域執(zhí)行卷積運(yùn)算。

6.根據(jù)權(quán)利要求1所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述方法還包括：基于特征增強(qiáng)的所述融合特征圖，通過(guò)回歸頭網(wǎng)絡(luò)和分類頭網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)，

其中，所述通過(guò)回歸頭網(wǎng)絡(luò)和分類頭網(wǎng)絡(luò)進(jìn)行人臉檢測(cè)包括：

通過(guò)所述回歸頭網(wǎng)絡(luò)，確定所述融合特征圖的坐標(biāo)；

通過(guò)所述分類頭網(wǎng)絡(luò)，確定所述融合特征圖的類別；以及

基于所述坐標(biāo)和所述類別，進(jìn)行所述人臉檢測(cè)。

7.根據(jù)權(quán)利要求2所述的基于球面特征的魚眼圖像特征處理方法，其特征在于，所述魚眼圖像的投影方式包括等矩形投影ERP、立方體投影CMP和條帶投影SSP。

8.一種基于球面特征的魚眼圖像特征處理系統(tǒng)，其特征在于，

多尺度特征獲取模塊，用于提取所述魚眼圖像中的多尺度特征得到多尺度特征圖；

魚眼圖像特征處理模塊，用于將所述多尺度特征圖輸入至經(jīng)訓(xùn)練的魚眼圖像特征處理模型中，得到所述魚眼圖像特征處理模型輸出的所述魚眼圖像的融合特征圖，其中所述魚眼圖像特征處理模型用于從所述多尺度特征圖提取平面特征和球面特征，并基于空間自注意力機(jī)制提取含有球域信息的平面特征，并將含有球域信息的平面特征與所述球面特征進(jìn)行融合以得到所述融合特征圖。

9.一種電子設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在所述存儲(chǔ)器上并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于球面特征的魚眼圖像特征處理方法的步驟。

10.一種非暫態(tài)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1-7任一項(xiàng)所述的基于球面特征的魚眼圖像特征處理方法的步驟。