[發(fā)明專利]一種圖像重建方法、裝置、終端設(shè)備和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110418337.4
• 申請日: 2021-04-19
• 公開（公告）號: CN113111891B
• 公開（公告）日: 2022-05-27
• 發(fā)明（設(shè)計）人: 王珊珊;梁皓云;鄭海榮;劉新
• 申請（專利權(quán)）人: 中國科學(xué)院深圳先進(jìn)技術(shù)研究院
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06K9/62;G06N3/02
• 代理公司: 深圳中一聯(lián)合知識產(chǎn)權(quán)代理有限公司 44414
• 代理人: 姚澤鑫

本申請涉及圖像處理技術(shù)領(lǐng)域，提出一種圖像重建方法、裝置、終端設(shè)備和存儲介質(zhì)。該方法首先提取原始圖像的初始特征圖，然后分別計算該初始特征圖中每一列像素的元素值的平均值，并根據(jù)該平均值構(gòu)建目標(biāo)行向量，在對該目標(biāo)行向量執(zhí)行一維卷積處理后于列方向上對其進(jìn)行復(fù)制，得到一個特征圖；以及，分別計算該初始特征圖中每一行像素的元素值的平均值，并根據(jù)該平均值構(gòu)建目標(biāo)列向量，在對該目標(biāo)列向量執(zhí)行一維卷積處理后于行方向上對其進(jìn)行復(fù)制，得到另一個特征圖，接著將兩個特征圖融合；最后，對融合的特征圖執(zhí)行二維卷積處理，并基于該融合的特征圖生成重建的圖像。通過這樣設(shè)置，能夠捕獲圖像的遠(yuǎn)距離依賴關(guān)系。

技術(shù)領(lǐng)域

本申請涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種圖像重建方法、裝置、終端設(shè)備和存儲介質(zhì)。

背景技術(shù)

目前，深度學(xué)習(xí)已經(jīng)成為圖像重建的常用技術(shù)手段，現(xiàn)有的基于深度學(xué)習(xí)的圖像重建方法主要可以分為兩類，一類是基于展開的方法，從優(yōu)化圖像的問題出發(fā)然后把一個優(yōu)化算法展開到神經(jīng)網(wǎng)絡(luò)里，該神經(jīng)網(wǎng)絡(luò)的架構(gòu)是基于迭代構(gòu)建的；另一類是非展開的方法，直接學(xué)習(xí)零填充數(shù)據(jù)到全采樣數(shù)據(jù)的映射，以完成圖像的重建。然而，這兩類方法均無法捕獲特征圖像中內(nèi)容存在聯(lián)系的不同圖像區(qū)域之間的相互依賴關(guān)系，也即無法捕獲圖像的遠(yuǎn)距離依賴關(guān)系。

發(fā)明內(nèi)容

有鑒于此，本申請實施例提供了一種圖像重建方法、裝置、終端設(shè)備和存儲介質(zhì)，能夠捕獲圖像的遠(yuǎn)距離依賴關(guān)系。

本申請實施例的第一方面提供了一種圖像重建方法，包括：

獲取待重建的原始圖像；

提取所述原始圖像的初始特征圖；

分別計算所述初始特征圖中每一列像素的元素值的平均值，并根據(jù)獲得的各列像素對應(yīng)的平均值構(gòu)建目標(biāo)行向量；

分別計算所述初始特征圖中每一行像素的元素值的平均值，并根據(jù)獲得的各行像素對應(yīng)的平均值構(gòu)建目標(biāo)列向量；

對所述目標(biāo)行向量執(zhí)行一維卷積處理，并在列方向上對一維卷積處理后的所述目標(biāo)行向量進(jìn)行復(fù)制，得到第一特征圖；

對所述目標(biāo)列向量執(zhí)行一維卷積處理，并在行方向上對一維卷積處理后的所述目標(biāo)列向量進(jìn)行復(fù)制，得到第二特征圖；

將所述第一特征圖和所述第二特征圖融合，得到第三特征圖；

對所述第三特征圖執(zhí)行二維卷積處理，得到第四特征圖；

根據(jù)所述第四特征圖生成所述原始圖像對應(yīng)的重建圖像。

在本申請實施例中，首先提取原始圖像的初始特征圖，然后分別計算該初始特征圖中每一列像素的元素值的平均值，并根據(jù)該平均值構(gòu)建目標(biāo)行向量，在對該目標(biāo)行向量執(zhí)行一維卷積處理后于列方向上對其進(jìn)行復(fù)制，得到一個特征圖；以及，分別計算該初始特征圖中每一行像素的元素值的平均值，并根據(jù)該平均值構(gòu)建目標(biāo)列向量，在對該目標(biāo)列向量執(zhí)行一維卷積處理后于行方向上對其進(jìn)行復(fù)制，得到另一個特征圖，接著將兩個特征圖融合；最后，在對融合的特征圖執(zhí)行二維卷積處理后，基于該融合的特征圖生成重建的圖像。上述過程采用的是一種交叉池化的方法，相當(dāng)于沿著一個空間維度部署一個長條形狀(特征圖的一行或者一列)的池化核，在特征計算時能夠用到的像素范圍更廣，因此能夠捕獲圖像的遠(yuǎn)距離依賴關(guān)系。

在本申請的一個實施例中，所述根據(jù)所述第四特征圖生成所述原始圖像對應(yīng)的重建圖像，可以包括：

對所述第四特征圖執(zhí)行預(yù)設(shè)卷積核數(shù)量的卷積處理，得到多張目標(biāo)特征圖；

將所述多張目標(biāo)特征圖劃分為兩個以上的目標(biāo)特征圖組合，每個所述目標(biāo)特征圖組合包含兩張以上的所述目標(biāo)特征圖；