[發明專利]基于畸變分布圖的畸變圖像矯正方法及系統

有效

• 申請號: 202010002973.4
• 申請日: 2020-01-02
• 公開（公告）號: CN111260565B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 林春雨;廖康;趙耀;劉美琴
• 申請（專利權）人: 北京交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T7/13;G06N3/0464
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 麻吉鳳

1.一種基于畸變分布圖的畸變圖像矯正方法，其特征在于，所述方法包括如下步驟：

步驟S1，在畸變圖像的寬和高范圍內構建畸變分布圖；

步驟S2，提取所述畸變分布圖引導的語義特征，得到語義特征向量；

步驟S3，提取所述畸變圖像的結構特征，得到結構特征向量；

步驟S4，基于注意力機制，將所述語義特征向量和結構特征向量進行多模特征融合，在局部結構特征和全局語義特征之間進行有意義的信息傳遞，得到語義-結構混合向量；

步驟S5，根據所述語義-結構混合向量輸出矯正圖像；

所述畸變分布圖的構建公式為：

其中，D為畸變分布圖，(xⁱ,y^j)為像素點的坐標，坐標指針i和j處于畸變圖像的寬和高的范圍之內，(xⁱ_d,y^j_d)為像素點在畸變圖像中的坐標，(xⁱ_r,y^j_r)為像素點在無畸變圖像中的坐標；

所述步驟S2進一步包括：

步驟S201，將所述畸變分布圖與所述畸變圖像進行合并，輸入到語義特征提取網絡；

步驟S202，所述語義特征提取網絡在畸變分布圖的引導下提取畸變圖像的語義特征。

2.根據權利要求1所述的畸變圖像矯正方法，其特征在于，所述語義特征提取網絡為一個編碼器，生成畸變圖像對應的特征向量。

3.根據權利要求1所述的畸變圖像矯正方法，其特征在于，所述步驟S3提取所述畸變圖像的結構特征，通過2D局部結構特征提取網絡輸入Canny算子提取畸變圖像的邊緣點，在2D稀疏空間進行學習，提取所述畸變圖像的結構特征，提取公式為：

其中P₁,P₂,...,P_N為一系列2D邊緣點，f為學習到的映射關系，γ和h為特征提取層。

4.根據權利要求1所述的畸變圖像矯正方法，其特征在于，所述基于注意力機制的多模特征融合公式為：

M?＝?σ(f_c(V_sem))，????????????????(3-1)

其中，M為由語義特征向量V_sem生成的掩膜，f_c為全連接層，σ為Sigmoid激活函數；V_str為結構特征向量，V_hyb為融合后的語義-結構混合向量。

5.根據權利要求1所述的畸變圖像矯正方法，其特征在于，所述步驟S5進一步為，通過解碼器對語義-結構混合特征向量進行逐層恢復，還原出畸變圖像對應的真實無畸變場景。

6.根據權利要求5所述的畸變圖像矯正方法，其特征在于，所述解碼器和語義特征提取網絡在結構上成鏡像對稱，輸入為語義-結構混合特征向量，輸出為三通道的RGB彩色圖像。

7.根據權利要求1所述的畸變圖像矯正方法，其特征在于，所述畸變圖像矯正方法還包括：將輸出的矯正圖像輸入判別器，與語義特征提取網絡和結構特征提取網絡進行聯合對抗訓練。

8.一種基于畸變分布圖的畸變圖像矯正系統，其特征在于，所述畸變圖像矯正系統包括：畸變分布圖構建模塊、語義特征提取網絡、2D局部結構特征提取網絡、多模特征融合模塊、矯正圖像輸出模塊；其中，

所述畸變分布圖構建模塊與所述語義特征提取網絡相連，用于接收畸變圖像，并在畸變圖像的寬和高范圍內構建畸變分布圖，將所述畸變分布圖發送給所述語義特征提取網絡；所述畸變分布圖的構建公式為：

其中，D為畸變分布圖，(xⁱ,y^j)為像素點的坐標，坐標指針i和j處于畸變圖像的寬和高的范圍之內，(xⁱ_d,y^j_d)為像素點在畸變圖像中的坐標，(xⁱ_r,y^j_r)為像素點在無畸變圖像中的坐標；

所述語義特征提取網絡與所述多模特征融合模塊相連，用于接收畸變圖像和所述畸變分布圖，提取所述畸變分布圖引導的畸變圖像的語義特征，得到語義特征向量，將所述語義特征向量發送給多模融合模塊；并進一步用于將所述畸變分布圖與所述畸變圖像進行合并，輸入到語義特征提取網絡，并在畸變分布圖的引導下提取畸變圖像的語義特征；

所述結構特征提取網絡與所述多模特征融合模塊相連，用于接收畸變圖像，提取所述畸變圖像的結構特征，得到結構特征向量，并將所述結構特征向量發送給所述多模融合模塊；

所述多模融合模塊與所述矯正圖像輸出模塊相連，用于基于注意力機制，將所述語義特征向量和結構特征向量進行多模特征融合，在局部結構特征和全局語義特征之間進行有意義的信息傳遞，得到語義-結構混合向量，并將所述語義-結構混合向量發送給所述矯正圖像輸出模塊；

所述矯正圖像輸出模塊用于根據所述語義-結構混合向量輸出矯正圖像。