[發明專利]一種聲吶圖像合成方法和裝置

有效

• 申請號: 202110604552.3
• 申請日: 2021-05-31
• 公開（公告）號: CN113052786B
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 張慶港
• 申請（專利權）人: 北京星天科技有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 北京國昊天誠知識產權代理有限公司 11315
• 代理人: 許振新

1.一種聲吶圖像合成方法，其特征在于，所述方法包括：

將待合成的內容圖像和風格圖像輸入圖像特征提取網絡，得到所述內容圖像的特征和所述風格圖像的特征，其中，所述內容圖像為光學圖像，所述風格圖像為真實聲吶圖像，所述特征提取網絡是基于樣本圖像訓練得到的深度學習網絡，所述樣本圖像為光學圖像，所述圖像特征提取網絡包括多個卷積模塊和多個最大池化層，一個卷積模塊中包含至少一個卷積層，一個卷積模塊后設置一個最大池化層；

在基于所述最大池化層對輸入該層的所述內容圖像的特征矩陣進行下采樣時，記錄下采樣結果中的值在該特征矩陣中的位置信息，并將該位置信息記為第二位置信息，且一個最大池化層對應一次下采樣，一次下采樣對應記錄一次第二位置信息；

對所述內容圖像的特征進行白化處理，以去除所述內容圖像中的風格特征，得到所述內容圖像的白化特征；

將所述白化特征與所述風格圖像的特征進行融合，得到對所述內容圖像進行風格轉換后的目標特征；

基于所述目標特征、圖像重建網絡和隨機噪聲進行圖像重建，得到合成聲吶圖像，其中，所述合成聲吶圖像具有所述內容圖像的內容和所述風格圖像的風格，所述圖像重建網絡是基于所述樣本圖像訓練得到的深度學習網絡，所述圖像重建網絡為所述特征提取網絡的鏡像網絡，且所述特征提取網絡與所述圖像重建網絡是基于所述樣本圖像的重建損失最小化的優化策略訓練得到的；

其中，所述基于所述目標特征、圖像重建網絡和隨機噪聲進行圖像重建，得到合成聲吶圖像，包括：

基于所述圖像重建網絡中的反池化層和相應的第二位置信息，對輸入該層的所述內容圖像的特征矩陣進行上采樣，并在上采樣結果上疊加隨機噪聲，以得到合成聲吶圖像。

2.根據權利要求1所述的方法，其特征在于，在所述將待合成的內容圖像和風格圖像輸入圖像特征提取網絡，得到所述內容圖像的特征和所述風格圖像的特征前，所述方法還包括：

基于樣本圖像訓練所述圖像特征提取網絡和所述圖像重建網絡。

3.根據權利要求2所述的方法，其特征在于，所述基于樣本圖像訓練所述圖像特征提取網絡和所述圖像重建網絡，包括：

將樣本圖像輸入所述圖像特征提取網絡，得到所述樣本圖像的特征；

基于所述樣本圖像的特征和所述圖像重建網絡進行所述樣本圖像的重建，得到所述樣本圖像的重建圖像；

基于所述重建圖像和所述樣本圖像，確定所述樣本圖像的重建損失；

基于所述重建損失最小化的優化策略，對所述圖像特征提取網絡和所述圖像重建網絡進行優化。

4.根據權利要求3所述的方法，其特征在于，在所述基于所述樣本圖像的特征和所述圖像重建網絡進行所述樣本圖像的重建，得到所述樣本圖像的重建圖像前，所述方法還包括：

在基于所述最大池化層對輸入該層的所述樣本圖像的特征矩陣進行下采樣時，記錄下采樣結果中的值在該特征矩陣中的位置信息，并將該位置信息記為第一位置信息，且一個最大池化層對應一次下采樣，一次下采樣對應記錄一次第一位置信息；

其中，基于所述樣本圖像的特征和所述圖像重建網絡進行所述樣本圖像的重建，得到所述樣本圖像的重建圖像，包括：

基于所述圖像重建網絡中的反池化層和相應的第一位置信息，對輸入該層的所述樣本圖像的特征矩陣進行上采樣，以得到所述樣本圖像的重建圖像，其中所述反池化層為相應最大池化層的鏡像。

5.根據權利要求1所述的方法，其特征在于，所述基于所述圖像重建網絡中的反池化層和相應的第二位置信息，對輸入該層的所述內容圖像的特征矩陣進行上采樣，并在上采樣結果上疊加隨機噪聲，以得到合成聲吶圖像，包括：

基于所述反池化層對輸入該層的所述內容圖像的特征矩陣在相應第二位置信息中記錄的相應位置上進行上采樣，并在上采樣結果中除該第二位置信息中記錄的位置之外的位置上添加隨機噪聲，以得到合成聲吶圖像。