[發明專利]一種基于多尺度特征交互網絡的多聚焦圖像融合方法

有效

• 申請號: 202110997261.5
• 申請日: 2021-08-27
• 公開（公告）號: CN113705675B
• 公開（公告）日: 2022-10-04
• 發明（設計）人: 劉羽;王磊;成娟;李暢;宋仁成;陳勛
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于多尺度特征交互網絡的多聚焦圖像融合方法，其步驟包括：1，將一對彩色多聚焦源圖像進行通道連接并輸入到設計的多尺度特征交互網絡(MSFIN)以生成表示像素聚焦屬性的聚焦圖；2，對聚焦圖進行二值化(即高于閾值的像素值設為1，反之記為0)得到初始決策圖，并采用全連接條件隨機場(FC?CRF)細化初始決策圖，以去除一些誤分類的小區域，得到最終決策圖；3，基于細化后的最終決策圖，采用像素加權平均策略獲得融合圖像。本發明能有效地融合具有不同聚焦區域的圖像，為多聚焦圖像的融合提高一種新的解決方案，使融合圖像包含增強的空間信息，有助于信息傳輸和圖像處理。

技術領域

本發明屬于多聚焦圖像融合的技術領域，具體涉及一種基于多尺度特征交互網絡的多聚焦圖像融合方法。

背景技術

隨著傳感器和計算機技術的快速發展，數字圖像作為這些新型科技的產物，逐漸滲透到人們的生活之中，并且成為人類獲取信息的主要來源之一。因此，豐富圖像的信息量，提升圖像的視覺效果，能為后續圖像處理奠定良好基礎。由于光學鏡頭的景深有限，使得相機難以在同一場景中清晰地捕捉到所有的物體。具體來說，在景深(DOF)范圍內的物體被快速捕獲，而其他物體在景深(DOF)之外被模糊。多聚焦圖像融合技術能將同一場景不同焦距設置的多幅圖像融合為全聚焦圖像，融合后的圖像能盡可能保留源圖像中的內容和細節。目前，多聚焦圖像融合算法主要分為三類：基于變換域的方法和基于空間域的方法。

基于變換域的方法通常是通過圖像分解或表示方法將源圖像從空間域變換到變換域，然后根據特定的融合策略對不同源圖像的變換系數進行融合。最后對融合后的全聚焦圖像進行逆變換重建。例如，近幾十年來提出了許多基于多尺度分解(MSD)的方法，基于稀疏表示(SR)的方法，基于梯度域(GD)的方法等。該方法得到的融合圖像更接近人類視覺系統，更自然的視覺效果。然而，在變換過程中容易引入像素強度誤差，降低融合結果的清晰度。

基于空間域的方法通常是在空間域提取源圖像的特征，直接測量源圖像的活動水平。然后，根據計算得到的活動級測度，選擇合適的融合規則生成聚焦圖，確定每個像素點的聚焦屬性(即聚焦或模糊)。基于決策圖從源圖像中選擇相應的像素，最終得到融合圖像。根據融合算法的基本處理單元，該方法又可分為基于塊的方法、基于區域的方法、基于像素的方法。與前一類方法相比，此類方法可以最大限度地保留原始的焦點信息，獲得清晰的融合圖像。然而，對目標邊界的不準確檢測可能會在其周圍引入不良偽影。

發明內容

本發明為克服上述現有技術所存在的不足，提出一種基于多尺度特征交互網絡的多聚焦圖像融合方法，以期對同一場景下不同聚焦設置所拍攝的多聚焦圖像進行融合，使融合圖像包含增強的空間信息，從而有助于后續的信息傳輸和圖像處理。

本發明為解決技術問題，采用如下技術方案：

本發明一種基于多尺度特征交互網絡的多聚焦圖像融合方法的特點包括如下步驟：

步驟1、數據準備；

獲取任意一對分辨率為H×W×3且聚焦區域為互補的多聚焦圖像I_A和I_B；

獲取與多聚焦圖像I_A中聚焦區域對應的一幅分辨率為H×W的二值圖G₁，并進行N-1次區域插值下采樣，得到一組二值圖像集記為{G₁,G₂,…,G_n,…,G_N}，并作為網絡訓練的參考圖像，其中，G_n表示第n個尺度的參考圖像，N表示尺度數；

步驟2、構建由主干網絡、特征融合部分、上采樣部分以及多層監督部分組成的多尺度特征交互網絡模型，以預測多聚焦圖像中各像素的聚焦屬性，得到聚焦圖；