[發明專利]圖像生成方法和融合成像系統

在審

• 申請號: 202310326803.5
• 申請日: 2023-03-29
• 公開（公告）號: CN116342452A
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 徐飛虎;蔣鵬宇;黎正平;潘建偉
• 申請（專利權）人: 合肥國家實驗室;中國科學技術大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/557;G06T7/11;G06V10/74
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 張博

1.一種圖像生成方法，包括：

獲取第一圖像和第二圖像，所述第一圖像為單光子相機采集的目標場景的三維圖像，所述第二圖像為紅外相機采集的所述目標場景的灰度圖像；

利用目標圖像生成模型對所述第一圖像進行特征提取，生成第一特征數據；

利用所述目標圖像生成模型對所述第一圖像進行相似度分析，生成第二特征數據；

將所述第一特征數據和所述第二特征數據進行特征整合，生成深度圖像；

將所述深度圖像和所述第二圖像進行融合，生成目標圖像。

2.根據權利要求1所述的方法，其中，所述利用目標圖像生成模型對所述第一圖像進行特征提取，生成第一特征數據，包括：

降低所述第一圖像的分辨率，生成中間圖像；

對所述中間圖像進行分割，生成多個分割圖像；

利用目標圖像生成模型對相鄰的所述分割圖像進行相似度分析，生成第一特征數據。

3.根據權利要求2所述的方法，其中，所述中間圖像包括多個中間像素點，所述利用所述目標圖像生成模型對所述第一圖像進行相似度分析，生成第二特征數據，包括：

確定每個所述中間像素點的像素特征；

針對任意兩個所述像素特征，利用所述目標圖像生成模型進行相似度分析，生成中間特征數據；

基于多個所述中間特征數據得到第二特征數據。

4.根據權利要求1所述的方法，其中，所述將所述第一特征數據和所述第二特征數據進行特征整合，生成深度圖像，包括：

將所述第一特征數據和所述第二特征數據進行特征整合，生成深度數據；

基于所述深度數據進行圖像重構，生成深度圖像。

5.根據權利要求1所述的方法，其中，所述目標圖像生成模型是通過如下方法訓練的：

對訓練圖像中多個初始像素點進行篩選，得到去噪圖像，所述訓練圖像為單光子相機采集的真實圖像；

將所述去噪圖像輸入前向成像模型中，輸出測試數據集；

將所述測試數據集輸入初始圖像生成模型中，輸出預測圖像；

確定所述預測圖像和所述訓練圖像之間的差異值；

將所述差異值輸入所述初始圖像生成模型的損失函數中，輸出損失值；

基于所述損失值對所述初始圖像生成模型進行訓練，得到所述目標圖像生成模型。

6.根據權利要求5所述的方法，其中，所述對訓練圖像進行去噪，得到去噪圖像，包括：

基于多個所述初始像素點的光子響應時間，生成底噪曲線；

基于所述底噪曲線對所述初始像素點進行初篩，得到初篩圖像，所述初篩圖像中包括多個初篩像素點；

確定每個所述初篩像素點的響應區域，所述響應區域中包括初篩像素點和多個對比像素點；

基于對比響應時間對所述初篩像素點進行細篩，得到所述去噪圖像，所述對比響應時間為每個所述對比像素點對應的光子響應時間。

7.根據權利要求6所述的方法，其中，所述基于所述底噪曲線對所述初始像素點進行初篩，得到初篩圖像，包括：

基于所述底噪曲線確定每個所述初始像素點的底噪水平；

基于所述底噪水平確定每個所述初始像素點對應的響應強度；

篩選所述初始像素點中光子響應時間大于所述響應強度的像素點，得到所述初篩圖像。

8.根據權利要求5所述的方法，其中，所述差異值包括預測差異值、預測銳利值和預測連續值，所述確定所述預測圖像和所述訓練圖像之間的差異值，包括：

基于真實像素點與所述預測圖像中的預測像素點的比值確定預測差異值，所述真實像素點為所述訓練圖像中與所述預測像素點對應的像素點；

基于所述真實像素點和所述預測像素點的差值確定所述預測銳利值；

基于所述預測像素點和與所述預測像素點相鄰的連續像素點確定預測連續值。