[發明專利]基于cGANs和圖像轉換的光學與SAR的配準方法及系統

在審

• 申請號: 202110654783.5
• 申請日: 2021-06-11
• 公開（公告）號: CN113487623A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 羅卿莉;李宏
• 申請（專利權）人: 天津大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/136;G06T7/33;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 天津市君硯知識產權代理有限公司 12239
• 代理人: 劉雅爽

1.一種基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：包括以下步驟：

獲取待配準的成對的SAR圖像和光學圖像；將待配準的SAR圖像裁剪成多個圖像小塊；

利用訓練好的條件生成對抗網絡將裁切后的圖像小塊，轉化成合成光學圖像小塊；

將合成光學圖像小塊進行拼接，得出合成的光學圖片；

對合成的光學圖片提取大量特征點，形成基準集；對獲取的待配準光學圖像提取特征點，形成查詢集；

根據基準集中的特征點在查詢集中查找最鄰近點，形成匹配點對；

利用RANSAC算法對匹配點對進行精配準，剔除錯誤的匹配點對后，得到精配準的圖像。

2.根據權利要求1所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：所述條件生成對抗網絡采用如下方法進行訓練：

獲取成對的SAR圖像和光學圖像；將成對的SAR圖像和光學圖像剪成多個子圖像塊，形成SAR-光學圖像數據集；將SAR-光學圖像數據集劃分成訓練樣本集和測試集樣本集；

將訓練樣本集中的SAR圖像作為輸入，將對應的光學圖像作為有效值輸出，訓練條件生成對抗網絡；以使生成的圖片盡可能接近目標的光學圖像的分布；

利用測試集測試網絡的精度，當生成的光學圖像精度達到目標要求時，訓練完成。

3.根據權利要求1所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：所述條件生成對抗網絡包括生成器和鑒別器；

所述生成器使用U-Net結構，用于對輸入的SAR圖片轉化成彩色的光學圖片；

所述鑒別器D用于判斷輸入的光學圖像是否是真實的樣本；所述輸入的光學圖像為輸入的SAR圖像與真實光學圖像或者生成光學圖像進行通道堆疊形成。

4.根據權利要求3所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：將待配準的SAR圖像裁剪成多個圖像小塊時，采用在待配準的SAR圖像上用一個256x256的窗口進行滑動，設定窗口步長為128，得到256x256的圖像小塊。

5.根據權利要求1所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：將合成光學圖像小塊進行拼接時，包括將每個生成的合成光學圖像小塊，將其邊緣進行裁剪，再將其按照順序進行拼接。

6.根據權利要求1所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：所述形成基準集和查詢集時，采用SIFT算法對合成的光學圖片和待配準光學圖像，提取大量特征點。

7.根據權利要求1所述的基于cGANs和圖像轉換的光學與SAR的配準方法，其特征在于：所述形成匹配點對時，利用kd-tree 和 BBF 算法進行粗配準，包括：

對查詢集特征點，構建kd-tree；對于基準集中的特征點，采用 BBF 算法在所構建的kd-tree中查找到最鄰近點；得到一對匹配點對；對基準集中所有的特征點，都進行查找，最終得到初始匹配好的匹配點對集。