[發明專利]一種基于跨源圖像翻譯的圖像質量評價方法及系統

有效

• 申請號: 202011526033.1
• 申請日: 2020-12-22
• 公開（公告）號: CN112668621B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 皮德常;駱毅;陳陽
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 王愛濤

1.一種基于跨源圖像翻譯的圖像質量評價方法，其特征在于，包括：

獲取SAR影像和可見光影像；

將所述SAR影像輸入圖像生成模型進行翻譯，得到生成可見光影像；所述圖像生成模型是采用訓練數據對生成式對抗網絡模型進行訓練得到的；

將所述生成可見光影像與所述可見光影像進行模板匹配，得到圖像質量評價結果，具體包括：

對所述可見光影像進行目標檢測，提取目標位置信息集合，根據所述目標位置信息集合得到模板位置信息集合；

根據所述模板位置信息集合對所述生成可見光影像進行剪裁，得到模板影像集合；

基于粗精匹配結合的方法對所述模板影像集合和所述可見光影像進行模板匹配，得到配準位置信息集合；

根據所述模板位置信息集合、所述目標位置信息集合和所述配準位置信息集合確定圖像質量評價結果；

所述基于粗精匹配結合的方法對所述模板影像集合和所述可見光影像進行模板匹配，得到配準位置信息集合，包括：

遍歷所述模板影像集合中的所有模板影像，將所述模板影像疊放在所述可見光影像上并以5個像元為單位步長進行平移，每次平移過程中計算所述模板影像和所述可見光影像的相似度，根據相似度的最大值確定粗配準區域位置；

將所述模板影像疊放在所述可見光影像的所述粗配準區域位置上并以1個像元為單位步長進行平移，每次平移過程中計算所述模板影像和所述可見光影像的相似度，根據相似度的最大值確定細配準區域位置；

根據所述細配準區域位置構建所述配準位置信息集合；

所述相似度的計算公式為：

其中，D(i,j)為所述相似度，i為在所述模板影像疊放在所述可見光影像時重疊區域的左上角的橫坐標，j為在所述模板影像疊放在所述可見光影像時重疊區域的左上角的縱坐標，M為模板影像寬度，N為模板影像高度，m為匹配起始點橫坐標，n為匹配起始點縱坐標，為匹配起始點在(m，n)處的所述重疊區域，T_image(m,n)為匹配起始點在(m，n)處的所述模板影像；

所述根據所述模板位置信息集合、所述目標位置信息集合和所述配準位置信息集合確定圖像質量評價結果，包括：

計算內容評估信息；所述內容評估信息計算公式為：其中，S_context為內容評估信息，MAX為最大像素值255；D(i,j)為所述相似度，i為在所述模板影像疊放在所述可見光影像時重疊區域的左上角的橫坐標，j為在所述模板影像疊放在所述可見光影像時重疊區域的左上角的縱坐標；

計算交并比信息；所述交并比信息計算公式為：其中，IoU為位置評估信息，w為所述目標位置信息集合中的目標框的寬度，h為所述目標框的高度，x為所述配準位置信息集合中的配準框與所述目標框在水平方向上的差值，y為所述配準框與所述目標框在垂直方向上的差值；

根據所述交并比信息計算位置評估信息；所述位置評估信息計算公式為：

其中，C為包含所述配準框和所述目標框的最小框的面積；

根據所述內容評估信息和所述位置評估信息計算圖像質量評價指標；所述圖像質量評價指標表示所述圖像質量評價結果；所述圖像質量評價指標計算公式為：其中，S為所述圖像質量評價指標，k為所述配準框的個數，為第t個配準框的內容評估信息，為第t個配準框的位置評估信息。

2.根據權利要求1所述的圖像質量評價方法，其特征在于，所述圖像生成模型的確定方法為：

獲取訓練數據；所述訓練數據包括SAR訓練影像和可見光訓練影像；

構建生成式對抗網絡模型；所述生成式對抗網絡模型包括依次連接的生成器和判別器；

將所述SAR訓練影像和所述可見光訓練影像輸入所述生成式對抗網絡模型進行訓練，得到訓練好的生成式對抗網絡模型；所述訓練好的生成式對抗網絡模型為所述圖像生成模型。