[發明專利]基于球面特征的魚眼圖像特征處理方法、系統及電子設備

在審

• 申請號: 202110693974.2
• 申請日: 2021-06-22
• 公開（公告）號: CN113569636A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 苗敬博;劉延偉
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 蔣娟

本發明提供一種基于球面特征的魚眼圖像特征處理方法、系統及電子設備。該基于球面特征的魚眼圖像特征處理方法包括：提取魚眼圖像中的多尺度特征得到多尺度特征圖；將多尺度特征圖輸入至經訓練的魚眼圖像特征處理模型中，得到魚眼圖像特征處理模型輸出的魚眼圖像的融合特征圖，其中魚眼圖像特征處理模型用于從多尺度特征圖提取平面特征和球面特征，并基于空間自注意力機制提取含有球域信息的平面特征，并將含有球域信息的平面特征與球面特征進行融合以得到融合特征圖。

技術領域

本發明涉及基于圖像處理領域，尤其涉及一種基于球面特征的魚眼圖像特征處理方法、系統、電子設備及存儲介質。

背景技術

由于具有更大的視場角，全景圖像在自動駕駛、視頻監控等領域發揮著重要作用。然而，與傳統平面圖像不同，由于全向圖像由于具有更大的視場角，所以采用傳統小孔成像方式無法將等于甚至大于180度的場景投影在有限范圍的圖像上。在獲取更多信息的同時，全向圖像也擁有其獨特的投影方式。然而這些投影方式在平面圖像上產生了不可避免的形變，原因是投影過程是經過非線性映射將球面信息強行投影到平面，所以在投影過程中存在插值和像素點丟棄等情況，而更棘手的是圖像中處于不同位置的目標其形變的方向和程度都不相同，而且不同的投影格式之間的失真規則并沒有關聯。而傳統圖像則不具有這樣的性質，所以直接進行算法的遷移將不能解決失真問題。隨著自動駕駛等行業的快速發展，對全景圖像處理算法的實用性需求變得更為緊迫。

現有技術中，最直觀的做法是先將全景圖像進行失真矯正，使其能夠呈現與平面圖像相似的平移不變性特征，即使用預處理步驟來矯正輸入的全景圖像；而另一種方法是直接對圖像處理算法進行改進。

然而，一方面，對于全景圖像進行失真矯正的方法，現有技術不僅忽略了實際識別問題中的人臉檢測過程，而且僅依照形變程度來劃分圖像不能很好的體現圖像形變程度隨著位置變化的連續性，此外現有技術還依賴于圓弧的檢測。問題在于，不同的人臉在魚眼圖像中的位置不同，許多目標并沒有完整且魯棒的圓弧供算法處理，正因為全景圖像包含比平面圖像更多的信息，投影在平面上才會產生失真，現有技術通過強行消除形變勢必會使圖像損失掉原有的信息，而先進行圖像校正再進行檢測算法勢必會帶來額外的時間損耗。另一方面，對于直接對圖像處理算法進行改進的方法，現有技術采用多方向投影由于在多個方向上重復進行，浪費時間和硬件的運算資源。由于網絡中不同的緯度之間的內核權重不相關，因此顯著增加了模型大小，而且需要根據網絡結構的變化做出相應的調整，可移植性較差，并且無法應用于其它投影格式的全向鏡頭圖像。此外，現有技術中雖然允許權重分配，但是隱含地假設可以在等角投影所定義的2D平面上插值來表征球體上的特征，這中表示形式明顯存在問題。換句話說，通過優化2D卷積以適配圖像的形變問題，很難學習到球域特征。另外，盡管現有技術利用快速傅里葉變換來加快卷積速度，但由于頻域內點乘本身具有很高的復雜度，因此計算開銷較大，目前無法被廣泛且高效地應用。

發明內容

本發明提供一種基于球面特征的魚眼圖像特征處理方法、系統、電子設備及存儲介質，旨在克服現有技術中的諸多問題，并且既能夠通過統一的網絡解決圖像失真問題，又能夠以較小的復雜度使用圖像的球面特征進行人臉檢測。

具體地，本發明實施例提供了以下技術方案：

第一方面，本發明的實施例提供一種基于球面特征的魚眼圖像特征處理方法，包括：

獲取魚眼圖像并提取所述魚眼圖像中的多尺度特征得到多尺度特征圖；

將所述多尺度特征圖輸入至經訓練的魚眼圖像特征處理模型中，得到所述魚眼圖像特征處理模型輸出的所述魚眼圖像的融合特征圖，其中所述魚眼圖像特征處理模型用于從所述多尺度特征圖提取平面特征和球面特征，并基于空間自注意力機制提取含有球域信息的平面特征，并將含有球域信息的平面特征與所述球面特征進行融合以得到所述融合特征圖。

進一步地，該基于球面特征的魚眼圖像特征處理方法還包括：

所述魚眼圖像特征處理模型包括特征圖提取層、特征圖優化層和特征圖融合層；