[發明專利]用于使用深度全色圖像引導殘余內插對多光譜圖像去馬賽克的系統和方法

在審

• 申請號: 201980060178.6
• 申請日: 2019-07-05
• 公開（公告）號: CN112805744A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 潘志宏;李寶普;包英澤;鄭旭君
• 申請（專利權）人: 百度時代網絡技術（北京）有限公司;百度（美國）有限責任公司
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 王達佐;王艷春

1.一種計算機實施的方法，用于對來自多光譜濾波器陣列(MSFA)傳感器的具有多個子頻帶的多光譜圖像進行去馬賽克，所述方法包括：

使用深度神經網絡和所述多光譜圖像重構所述多光譜圖像的全分辨率深度全色圖像(DPI)；

對于所述多光譜圖像的每個子頻帶，基于所重構的DPI執行至少一程引導殘余內插來獲得去馬賽克的子頻帶圖像；以及

形成包括所述去馬賽克的子頻帶圖像的去馬賽克的多光譜圖像。

2.根據權利要求1所述的計算機實施的方法，其中，對于所述多光譜圖像的每個子頻帶，基于所重構的DPI執行至少一程引導殘余內插以獲得所述去馬賽克的子頻帶圖像的步驟包括：

相對于所述子頻帶對所述DPI進行二次采樣以獲得二次采樣的DPI；

從與所述子頻帶對應的子頻帶圖像與所述二次采樣的DPI的差值中獲得二次采樣的殘余圖像；

使用所述DPI作為所述二次采樣的殘余圖像上的第一引導內插中的引導圖像，以獲得去馬賽克的殘余圖像；以及

將所述去馬賽克的殘余圖像與所述DPI相加，以獲得第一程去馬賽克的子頻帶圖像。

3.根據權利要求2所述的計算機實施的方法，其中，對于所述MSFA圖像的每個子頻帶，基于所重構的DPI執行至少一程引導殘余內插以獲得所述去馬賽克的子頻帶圖像的步驟還包括以下步驟：

相對于所述子頻帶對所述第一程去馬賽克的子頻帶圖像進行二次采樣，以獲得第二程二次采樣圖像；

從子頻帶圖像與所述第二程二次采樣圖像的差值中獲得第二程二次采樣的殘余圖像；

使用所述第一程去馬賽克的子頻帶圖像作為所述第二程二次采樣的殘余圖像上的第二引導內插中的引導圖像，以獲得第二程去馬賽克的殘余圖像；以及

將所述第二程殘余圖像與所述第一程去馬賽克的子頻帶圖像相加，以獲得第二程去馬賽克的子頻帶圖像。

4.根據權利要求1所述的計算機實施的方法，其中，所述深度神經網絡是卷積神經網絡(CNN)，所述CNN包括：

投影層，所述投影層將所述多光譜圖像變換到多個通道；

一個或多個中間塊，所述一個或多個中間塊基于所述多個通道生成中間輸出，每個中間塊具有兩個層，每個層包括卷積和整流線性單元(Relu)濾波器以及每個中間塊的輸入和輸出之間的跳躍連接；

最終卷積層，所述最終卷積層將所述中間輸出投影到2D殘余圖像；以及

裁剪模塊，所述裁剪模塊將通過從所述多光譜圖像中減除所述2D殘余圖像而獲得的殘余減除圖像裁剪到所述DPI的有效像素值范圍。

5.根據權利要求4所述的計算機實施的方法，其中，對所述CNN使用訓練數據集進行預訓練，以最小化所重構的DPI與從地面真值多光譜圖像的所有頻帶平均的參考全色圖像之間的損耗。

6.根據權利要求5所述的計算機實施的方法，其中，在所述預訓練期間，在計算所述損耗之前將銳化濾波器應用于所重構的DPI和所述參考全色圖像兩者。

7.根據權利要求4所述的計算機實施的方法，其中，在所述第一塊中使用填充方案以用于每一側上的對第一MSFA圖案的有限滾動移位。