[發明專利]圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110801135.8
• 申請日: 2021-07-15
• 公開（公告）號: CN113506323A
• 公開（公告）日: 2021-10-15
• 發明（設計）人: 施路平;楊哲宇;趙蓉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T5/50;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設備和存儲介質，所述方法包括：將第一時間段內獲取第一色彩圖像輸入第一光流網絡，獲得第一光流信息；將第一時間段內的獲取動態視覺信息輸入第二光流網絡，獲得第二光流信息；將第一光流信息和第二光流信息進行融合，獲得第三光流信息；根據第三光流信息和第一色彩圖像，生成第二色彩圖像。根據本公開的實施例的圖像處理方法，可通過第三光流信息可生成與動態視覺信息對應的色彩圖像，可使色彩圖像的獲取頻率提高，有助于對運動對象的運動軌跡或動作進行追蹤，提升追蹤效果。

技術領域

本公開涉及計算機技術領域，尤其涉及一種圖像處理方法及裝置、電子設備和存儲介質。

背景技術

在相關技術中，相機或攝像頭采集圖像或視頻幀的幀頻不高，在一定時間段內采集到的視頻幀的數量有限，如果拍攝的目標對象速度較快，則在兩個視頻幀之間的時間間隔中，難以拍攝到目標對象，也難以確定目標對象的位姿，導致遺漏目標對象的動作或軌跡。

發明內容

本公開提出了一種圖像處理方法及裝置、電子設備和存儲介質。

根據本公開的一方面，提供了一種圖像處理方法，包括：將第一時間段內獲取的預設場景的多個第一色彩圖像輸入第一光流網絡，獲得各個第一色彩圖像之間的第一光流信息；將第一時間段內的獲取的所述預設場景的多個動態視覺信息輸入第二光流網絡，獲得各個動態視覺信息之間的第二光流信息，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率；將所述第一光流信息和所述第二光流信息進行融合處理，獲得第三光流信息；根據所述第三光流信息和所述多個第一色彩圖像，分別生成與各個動態視覺信息對應的第二色彩圖像。

在一種可能的實現方式中，根據所述第三光流信息和所述多個第一色彩圖像，分別生成與各個動態視覺信息對應的第二色彩圖像，包括：根據所述第三光流信息、所述多個第一色彩圖像和所述多個動態視覺信息，分別生成與各個動態視覺信息對應的第二色彩圖像。

在一種可能的實現方式中，根據所述第三光流信息、所述多個第一色彩圖像和所述多個動態視覺信息，分別生成與各個動態視覺信息對應的第二色彩圖像，包括：根據所述第一色彩圖像以及所述第三光流信息，分別獲得與各個動態視覺信息對應的重建圖像；根據所述第三光流信息、所述第一色彩圖像和所述多個動態視覺信息，分別獲得與各個重建圖像對應的可視度信息，其中，所述可視度信息用于表示圖像中的對象是否可見；針對任一動態視覺信息，根據所述動態視覺信息的可視度信息和對應的重建圖像，獲得與所述動態視覺信息對應的第二色彩圖像。

在一種可能的實現方式中，針對任一動態視覺信息，根據所述動態視覺信息的可視度信息和對應的重建圖像，獲得與所述動態視覺信息對應的第二色彩圖像，包括：根據所述可視度信息，對所述重建圖像中各個像素點的像素值進行加權，獲得所述第二色彩圖像。

在一種可能的實現方式中，根據所述第三光流信息和所述多個第一色彩圖像，分別生成與各個動態視覺信息對應的第二色彩圖像，包括：根據所述第三光流信息對所述第一色彩圖像中各個像素點的位置進行調節，分別獲得與各個動態視覺信息對應的所述第二色彩圖像。

在一種可能的實現方式中，所述第一光流網絡包括卷積神經網絡，所述第二光流網絡包括遞歸神經網絡。

根據本公開的一方面，提供了一種圖像處理裝置，包括：第一光流獲取模塊，用于將第一時間段內獲取的預設場景的多個第一色彩圖像輸入第一光流網絡，獲得各個第一色彩圖像之間的第一光流信息；第二光流獲取模塊，用于將第一時間段內的獲取的所述預設場景的多個動態視覺信息輸入第二光流網絡，獲得各個動態視覺信息之間的第二光流信息，其中，動態視覺信息的獲取頻率高于色彩圖像的獲取頻率；融合模塊，用于將所述第一光流信息和所述第二光流信息進行融合處理，獲得第三光流信息；生成模塊，用于根據所述第三光流信息和所述多個第一色彩圖像，分別生成與各個動態視覺信息對應的第二色彩圖像。