[發明專利]圖像特征處理、深度圖像生成方法及裝置、介質和設備

在審

• 申請號: 202111123419.2
• 申請日: 2021-09-24
• 公開（公告）號: CN113902789A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 宮振飛
• 申請（專利權）人: OPPO廣東移動通信有限公司
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/04;G06N3/08
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 劉抗美

本公開提供了一種圖像特征處理方法、深度圖像生成方法、圖像特征處理裝置、深度圖像生成裝置、計算機可讀存儲介質和電子設備，涉及圖像處理技術領域。該圖像特征處理方法包括：獲取待處理的圖像特征圖；從待處理的圖像特征圖中提取位置編碼信息；利用位置編碼信息對待處理的圖像特征圖進行特征轉換，得到處理后的圖像特征圖。本公開可以準確地得到與待處理的圖像特征圖對應的位置編碼，輸出精確度高的特征圖，有助于提升模型預測結果的準確度。

技術領域

本公開涉及圖像處理技術領域，具體而言，涉及一種圖像特征處理方法、深度圖像生成方法、圖像特征處理裝置、深度圖像生成裝置、計算機可讀存儲介質和電子設備。

背景技術

與全卷積網絡(Fully Convolution Network，FCN)相比，Transformer(變換器)能夠更好地建模長距離依賴關系，這就使得Transformer在一些應用場景中更具優勢。

位置編碼(Positional Embedding，PE)為視覺Transformer中的可學習參數，可用作坐標索引，在空間信息建模中起著重要的作用，有助于Transformer正確地學習到要素之間的關系。

然而，目前應用Transformer的方案，仍會存在預測結果準確度不高的問題。

發明內容

本公開提供一種圖像特征處理方法、深度圖像生成方法、圖像特征處理裝置、深度圖像生成裝置、計算機可讀存儲介質和電子設備，進而至少在一定程度上克服模型處理結果準確度不高的問題。

根據本公開的第一方面，提供了一種圖像特征處理方法，包括：獲取待處理的圖像特征圖；從待處理的圖像特征圖中提取位置編碼信息；利用位置編碼信息對待處理的圖像特征圖進行特征轉換，得到處理后的圖像特征圖。

根據本公開的第二方面，提供了一種深度圖像生成方法，包括：獲取彩色圖以及與彩色圖對應的稀疏深度圖，并將彩色圖與稀疏深度圖進行合并，生成待處理圖像；對待處理圖像進行下采樣，得到待處理的圖像特征圖，并利用上述圖像特征處理方法對待處理的圖像特征圖進行處理，生成處理后的圖像特征圖；對處理后的圖像特征圖進行上采樣，得到深度估計信息；利用深度估計信息，生成與彩色圖對應的稠密深度圖。

根據本公開的第三方面，提供了一種圖像特征處理裝置，包括：特征獲取模塊，用于獲取待處理的圖像特征圖；信息提取模塊，用于從待處理的圖像特征圖中提取位置編碼信息；特征轉換模塊，用于利用位置編碼信息對待處理的圖像特征圖進行特征轉換，得到處理后的圖像特征圖。

根據本公開的第四方面，提供了一種深度圖像生成裝置，包括：圖像獲取模塊，用于獲取彩色圖以及與彩色圖對應的稀疏深度圖，并將彩色圖與稀疏深度圖進行合并，生成待處理圖像；特征處理模塊，用于對待處理圖像進行下采樣，得到待處理的圖像特征圖，并利用上述圖像特征處理方法，對待處理的圖像特征圖進行處理，生成處理后的圖像特征圖；上采樣模塊，用于對處理后的圖像特征圖進行上采樣，得到深度估計信息；深度圖生成模塊，用于利用深度估計信息，生成與彩色圖對應的稠密深度圖。

根據本公開的第五方面，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現上述的圖像特征處理方法或深度圖像生成方法。

根據本公開的第六方面，提供了一種電子設備，包括處理器；存儲器，用于存儲一個或多個程序，當一個或多個程序被處理器執行時，使得所述處理器實現上述的圖像特征處理方法或深度圖像生成方法。