[發明專利]用于使用深度全色圖像引導殘余內插對多光譜圖像去馬賽克的系統和方法

在審

• 申請號: 201980060178.6
• 申請日: 2019-07-05
• 公開（公告）號: CN112805744A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 潘志宏;李寶普;包英澤;鄭旭君
• 申請（專利權）人: 百度時代網絡技術（北京）有限公司;百度（美國）有限責任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

本文描述了使用深度全色圖像引導的殘余內插的對多光譜圖像進行去馬賽克的系統和實施方式。公開了用于從多光譜濾波器陣列(MSFA)馬賽克圖像重構全分辨率全色圖像的基于ResNet的深度學習模型的實施方式。在一個或多個實施方式中，將重構的深度全色圖像(DPI)部署為引導，以使用雙程引導殘余內插方法來恢復全分辨率多光譜圖像。實驗結果表明，所公開的方法實施方式在定性和定量上都優于一些現有技術的傳統的和深度學習的去馬賽克方法。

技術領域

本公開總體上涉及用于圖像處理的系統和方法。更具體地，本公開涉及用于對多光譜圖像去馬賽克的系統和方法。

背景技術

基于多光譜濾波器陣列(MSFA)的快照多光譜成像由于其尺寸和速度近來得到了普及。添加的光譜信息已使得其在廣泛的應用領域(例如遙感和醫學成像)中被使用。為了重建全分辨率多光譜圖像，必須基于來自相鄰像素的原始傳感器測量來估計每個像素處的所有缺失光譜信息。這種恢復過程被稱為去馬賽克。

去馬賽克是減少空間和頻譜域中的偽影的最關鍵和最具挑戰性的步驟之一。已經提出了用于MSFA相機的各種去馬賽克方法，以不斷地改進去馬賽克的圖像的質量。總是期望能夠最小化在去馬賽克的圖像和原始高分辨率圖像之間的誤差。

因此，需要一種用于對多光譜圖像進行去馬賽克以提高性能的系統和方法。

發明內容

在第一方面，本公開本公開提供了一種用于對來自多光譜濾波器陣列(MSFA)傳感器的具有多個子頻帶的多光譜圖像進行去馬賽克的計算機實施的方法，該方法包括：使用深度神經網絡和多光譜圖像重構多光譜圖像的全分辨率深度全色圖像(DPI)；對于多光譜圖像的每個子頻帶，基于所重構的DPI執行至少一個引導殘余內插來獲得去馬賽克的子頻帶圖像；以及形成包括去馬賽克的子頻帶圖像的去馬賽克的多光譜圖像。

在第一方面，本公開本公開提供了一種計算機實施的方法，用于使用一個或多個處理器來對由多光譜濾波器陣列(MSFA)傳感器捕獲的多光譜圖像中的子頻帶圖像進行去馬賽克，以導致包括以下的步驟被執行：使用深度神經網絡和多光譜圖像重構多光譜圖像的全分辨率深度全色圖像(DPI)；相對于子頻帶對DPI進行二次采樣以獲得二次采樣的DPI；從子頻帶圖像與二次采樣的DPI的差值中獲得二次采樣的殘余圖像；使用DPI作為二次采樣的殘余圖像上的引導內插中的引導圖像來獲得去馬賽克的殘余圖像；以及將去馬賽克的殘余圖像與DPI相加，以獲得第一程去馬賽克的子頻帶圖像。

在第三方面，本公開提供了一種包括一個或多個指令序列的非暫時性計算機可讀媒介或介質，一個或多個指令序列在由一個或多個處理器運行時導致對來自多光譜濾波器陣列(MSFA)傳感器的具有多個子頻帶的多光譜圖像進行去馬賽克的步驟被執行，所述步驟包括：使用深度神經網絡將多光譜圖像重構為全分辨率深度全色圖像(DPI)；對于多光譜圖像的每個子頻帶，基于所重構的DPI執行至少一個引導殘余內插來獲得去馬賽克的子頻帶圖像；以及形成包括去馬賽克的子頻帶圖像的去馬賽克的多光譜圖像。

在第四方面，本公開提供了一種用于對來自多光譜濾波器陣列(MSFA)傳感器的具有多個子頻帶的多光譜圖像進行去馬賽克的系統，該系統包括：至少一個處理器以及存儲有指令的存儲器，指令在由至少一個處理器運行時導致至少一個處理器執行根據第一方面的方法。

在第五方面，本公開提供了一種用于對由多光譜濾波器陣列(MSFA)傳感器捕獲的多光譜圖像中的子頻帶圖像進行去馬賽克的系統，該系統包括：至少一個處理器以及存儲有指令的存儲器，指令在由至少一個處理器運行時導致至少一個處理器執行根據第二方面的方法。

附圖說明

將參考本發明的實施方式，其示例可以在附圖中示出。這些附圖旨在是說明性的，而不是限制性的。盡管在這些實施方式的上下文中總體性地描述了本發明，但是應當理解的是，這些實施方式并不旨在將本發明的范圍限制于這些特定實施方式。圖中的項目不是按比例繪制的。

圖1描繪了根據本公開的實施方式的兩步去馬賽克系統的結構。