[發明專利]一種多曝光融合圖像質量評價方法

有效

• 申請號: 202110403967.4
• 申請日: 2021-04-15
• 公開（公告）號: CN113409247B
• 公開（公告）日: 2022-07-15
• 發明（設計）人: 姜求平;徐佳武;邵楓
• 申請（專利權）人: 寧波大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/00
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

1.一種多曝光融合圖像質量評價方法，其特征在于包括以下步驟：

步驟1：選取一幅多曝光融合圖像作為待評價的多曝光融合圖像，并記為S_mefi，同時將S_mefi相應的三幅不同曝光程度的原始圖像即正常曝光圖像、過曝光圖像、欠曝光圖像對應記為S_normal、S_over-ex、S_under-ex；其中，S_mefi、S_normal、S_over-ex、S_under-ex的寬度為W且高度為H；

步驟2：計算S_mefi、S_normal、S_over-ex、S_under-ex各自的梯度圖，對應記為G_mefi、G_normal、G_over-ex、G_under-ex；其中，G_mefi、G_normal、G_over-ex、G_under-ex的寬度為W且高度為H；

步驟3：從G_normal、G_over-ex、G_under-ex中提取得到最大值梯度圖，記為G_max，將G_max中坐標位置為(x,y)的像素點的像素值記為G_max(x,y)，G_max(x,y)＝max(G_normal(x,y),G_over-ex(x,y),G_under-ex(x,y))；然后計算G_max中的每個像素點與G_mefi中對應的像素點的SSIM；再計算W×H個SSIM值的平均值，并將平均值作為S_mefi的梯度特征；其中，G_max的寬度為W且高度為H，1≤x≤W，1≤y≤H，max()為取最大值函數，G_normal(x,y)表示G_normal中坐標位置為(x,y)的像素點的像素值，G_over-ex(x,y)表示G_over-ex中坐標位置為(x,y)的像素點的像素值，G_under-ex(x,y)表示G_under-ex中坐標位置為(x,y)的像素點的像素值；

步驟4：根據G_normal、G_over-ex、G_under-ex中相同坐標位置的像素點的像素值構成G_normal、G_over-ex、G_under-ex中相同坐標位置的像素點共同對應的維數為3×2的梯度值矩陣，將G_normal中坐標位置為(x,y)的像素點、G_over-ex中坐標位置為(x,y)的像素點、G_under-ex中坐標位置為(x,y)的像素點共同對應的維數為3×2的梯度值矩陣記為J_(x,y)，同樣，根據G_mefi中的每個像素點的像素值構成G_mefi中的每個像素點對應的維數為1×2的梯度值矩陣，將G_mefi中坐標位置為(x,y)的像素點對應的維數為1×2的梯度值矩陣記為J'_(x,y)，然后計算G_normal、G_over-ex、G_under-ex中相同坐標位置的像素點的結構張量，將G_normal中坐標位置為(x,y)的像素點、G_over-ex中坐標位置為(x,y)的像素點、G_under-ex中坐標位置為(x,y)的像素點的結構張量記為Z_(x,y)，Z_(x,y)＝(J_(x,y))^TJ_(x,y)；同樣，計算G_mefi中的每個像素點的結構張量，將G_mefi中坐標位置為(x,y)的像素點的結構張量記為Z'_(x,y)，Z'_(x,y)＝(J'_(x,y))^TJ'_(x,y)；接著計算G_normal、G_over-ex、G_under-ex中相同坐標位置的像素點的結構張量與G_mefi中對應像素點的結構張量的余弦距離，將Z_(x,y)與Z'_(x,y)的余弦距離記為d_(x,y)；再將所有余弦距離的平均值作為S_mefi的結構特征；其中，表示水平方向，表示垂直方向，表示G_normal(x,y)的水平方向的分量，表示G_normal(x,y)的垂直方向的分量，表示G_over-ex(x,y)的水平方向的分量，表示G_over-ex(x,y)的垂直方向的分量，表示G_under-ex(x,y)的水平方向的分量，表示G_under-ex(x,y)的垂直方向的分量，Z_(x,y)的維數為2×2，(J_(x,y))^T表示J_(x,y)的轉置，表示G_mefi中坐標位置為(x,y)的像素點的像素值G_mefi(x,y)的水平方向的分量，表示G_mefi中坐標位置為(x,y)的像素點的像素值G_mefi(x,y)的垂直方向的分量，Z'_(x,y)的維數為2×2，(J'_(x,y))^T表示J'_(x,y)的轉置；

步驟5：計算S_normal、S_over-ex、S_under-ex各自中的每個像素點的曝光度、對比度和飽和度，將S_normal中坐標位置為(x,y)的像素點的曝光度、對比度和飽和度對應記為E_normal(x,y)、C_normal(x,y)、Sa_normal(x,y)，將S_over-ex中坐標位置為(x,y)的像素點的曝光度、對比度和飽和度對應記為E_over-ex(x,y)、C_over-ex(x,y)、Sa_over-ex(x,y)，將S_under-ex中坐標位置為(x,y)的像素點的曝光度、對比度和飽和度對應記為E_under-ex(x,y)、C_under-ex(x,y)、Sa_under-ex(x,y)；然后計算S_normal、S_over-ex、S_under-ex各自中的每個像素點的權重，將S_normal中坐標位置為(x,y)的像素點的權重記為ω_normal(x,y)，ω_normal(x,y)＝E_normal(x,y)×C_normal(x,y)×Sa_normal(x,y)，將S_over-ex中坐標位置為(x,y)的像素點的權重記為ω_over-ex(x,y)，ω_over-ex(x,y)＝E_over-ex(x,y)×C_over-ex(x,y)×Sa_over-ex(x,y)，將S_under-ex中坐標位置為(x,y)的像素點的權重記為ω_under-ex(x,y)，ω_under-ex(x,y)＝E_under-ex(x,y)×C_under-ex(x,y)×Sa_under-ex(x,y)；接著對S_normal、S_over-ex、S_under-ex各自中的每個像素點的權重進行歸一化處理，得到S_normal、S_over-ex、S_under-ex各自對應的權重圖，對應記為weight_normal、weight_over-ex、weight_under-ex；再對S_normal、S_over-ex、S_under-ex與weight_normal、weight_over-ex、weight_under-ex進行金字塔融合，對S_normal、S_over-ex、S_under-ex上采樣生成拉普拉斯金字塔，對weight_normal、weight_over-ex、weight_under-ex上采樣生成高斯金字塔，融合得到一幅偽參考融合圖像；之后計算S_mefi中的每個像素點與偽參考融合圖像中對應的像素點的SSIM值；最后計算W×H個SSIM值的平均值，并將平均值作為S_mefi的全局感知特征；

步驟6：將S_mefi的梯度特征、S_mefi的結構特征、S_mefi的全局感知特征按序排列構成的向量作為S_mefi的特征向量；

步驟7：將S_mefi的特征向量作為輸入，結合支持向量回歸技術，計算得到S_mefi的客觀質量評價預測值；其中，S_mefi的客觀質量評價預測值越大，說明S_mefi的質量越好；反之，說明S_mefi的質量越差。