[發明專利]基于深度學習的多攝像頭高光譜成像方法、系統及介質

有效

• 申請號: 202010311781.1
• 申請日: 2020-04-20
• 公開（公告）號: CN111579506B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 李樹濤;郭安靜;孫斌;方樂緣
• 申請（專利權）人: 湖南大學
• 主分類號: G01N21/31
• 分類號: G01N21/31;G06N20/00
• 代理公司: 湖南兆弘專利事務所(普通合伙) 43008
• 代理人: 譚武藝

本發明公開了一種基于深度學習的多攝像頭高光譜成像方法、系統及介質，本發明多攝像頭高光譜成像方法包括：根據彩色攝像頭的光譜響應特性構建彩色反投影網絡模塊，根據灰度攝像頭的光譜響應特性構建灰度反投影網絡模塊，利用彩色反投影網絡模塊、灰度反投影網絡模塊構建迭代反投影高光譜重建網絡，分別獲取彩色攝像頭和灰度攝像頭針對同一成像目標獲取的彩色圖像和灰度圖像；將彩色圖像和灰度圖像輸入到已訓練完成的迭代反投影高光譜重建網絡，得到所述成像目標的高光譜圖像。本發明能夠有效保證成像質量，大大縮減高光譜成像時間，無需額外輔助裝置或硬件，極大地提升了高光譜成像的便捷性，具有廣泛的應用場景。

技術領域

本發明涉及高光譜成像方法，具體涉及一種基于深度學習的多攝像頭高光譜成像方法、系統及介質，其獲取的高光譜成像可用于皮膚疾病輔助診斷、農業病蟲害識別、農產品藥物殘留檢測、日用產品真偽鑒別。

背景技術

高光譜圖像通常包含幾十上百個光譜波段，具有豐富的差異性光譜信息，已被廣泛應用于遙感地物分類、醫療輔助診斷、農業病蟲害識別、農產品藥物殘留檢測、日用產品真偽鑒別等領域。然而，受成像元件、傳感器技術限制，目前的高光譜成像設備往往具有成像時間慢、體積大、攜帶不方便等缺點。而現有的便攜式高光譜成像方案如多鏡頭多光譜成像系統、手機電動旋轉式多光譜成像組件等往往需要昂貴的成像裝置或輔助硬件，很難做到無輔助硬件條件下的高光譜成像，極大地限制了這些方案的適用范圍。因此，充分挖掘現有便攜式成像設備(如智能手機)的光譜響應特性，實現無輔助硬件條件下的便捷高光譜成像，能極大促進相關高光譜應用的落地，具有十分重要的意義。

發明內容

本發明要解決的技術問題：針對現有技術的上述問題，提供一種基于深度學習的多攝像頭高光譜成像方法、系統及介質，本發明能夠有效保證成像質量，大大縮減高光譜成像時間，無需額外輔助裝置或硬件，極大地提升了高光譜成像的便捷性，具有廣泛的應用場景。

為了解決上述技術問題，本發明采用的技術方案為：

一種基于深度學習的多攝像頭高光譜成像方法，實施步驟包括：

1)分別獲取彩色攝像頭和灰度攝像頭針對同一成像目標獲取的彩色圖像和灰度圖像；

2)將彩色圖像和灰度圖像輸入到已訓練完成的迭代反投影高光譜重建網絡，得到所述成像目標的高光譜圖像，所述迭代反投影高光譜重建網絡通過訓練建立了彩色圖像、灰度圖像兩種輸入數據和高光譜圖像一種輸出數據之間的映射關系。

可選地，步驟2)之前還包括構建迭代反投影高光譜重建網絡的步驟，詳細步驟包括：S1)根據彩色攝像頭的光譜響應特性構建彩色反投影網絡模塊，所述彩色反投影網絡模塊用于將重建的高光譜圖像投影到原彩色空間并計算與輸入彩色圖像的誤差以提取彩色圖像的光譜特征；根據灰度攝像頭的光譜響應特性構建灰度反投影網絡模塊，所述灰度反投影網絡模塊用于將重建的高光譜圖像投影到原灰度空間并計算與輸入灰度圖像的誤差以提取灰度圖像的光譜特征；S2)利用彩色反投影網絡模塊、灰度反投影網絡模塊構建迭代反投影高光譜重建網絡，所述迭代反投影高光譜重建網絡用于融合彩色反投影網絡模塊、灰度反投影網絡模塊的不同層的特征提升重建效果。

可選地，步驟S1)中構建的彩色反投影網絡模塊包括：

第一特征堆疊層，用于將輸入的彩色圖像的t個階段的特征進行堆疊；

第一精餾卷積層，用于將對堆疊得到的特征進行高維特征壓縮得到精餾特征；

第一恢復卷積層，用于對精餾特征恢復出高光譜圖像；

RGB光譜采樣層，用于對恢復出的高光譜圖像光譜采樣重建彩色圖像；

第一求差模塊，用于將重建的彩色圖像減去輸入的彩色圖像得到重建誤差；

第一上采樣卷積層，用于對重建誤差進行光譜上采樣得到誤差上采樣特征；