[發明專利]圖像對齊方法、裝置、設備及存儲介質

在審

• 申請號: 202110600513.6
• 申請日: 2021-05-31
• 公開（公告）號: CN115482285A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 洪哲鳴;張曉翼;趙偉;王少鳴;郭潤增
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/90;G06T7/33;G06V10/74;G06Q20/40
• 代理公司: 北京勵誠知識產權代理有限公司 11647
• 代理人: 趙爽

本申請提供了一種圖像對齊方法、裝置、設備及存儲介質，包括：獲取目標物的深度圖像、紅外圖像和彩色圖像，深度圖像和紅外圖像是由紅外相機拍攝的，彩色圖像是由紅綠藍RGB相機拍攝的；根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將紅外圖像對齊至彩色圖像；根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將深度圖像對齊至彩色圖像，從而可以提高深度圖像、紅外圖像和彩色圖像三者的對齊效果。

技術領域

本申請實施例涉及圖像處理技術領域，尤其涉及一種圖像對齊方法、裝置、設備及存儲介質。

背景技術

通常同一目標物的深度圖像、紅外圖像和彩色圖像三者經常需要被一塊使用在刷臉支付過程中，例如：電子設備可以通過彩色圖像來識別刷臉者是哪個用戶，進一步的，通過深度圖像和紅外圖像進行活體檢測。因此，同一目標物的深度圖像、紅外圖像和彩色圖像在時間和空間上對齊至關重要。

目前，針對深度圖像、紅外圖像和彩色圖像在空間上的對齊方案過程是：電子設備通過對紅外圖像和彩色圖像識別出相同的一系列點，然后對這些點進行二次曲線擬合，計算出該二次曲線的各項參數，從而可以生成紅外圖像和彩色圖像的之間的坐標轉換關系，即可以生成紅外圖像和彩色圖像的各個像素之間的坐標轉換關系，電子設備根據該坐標轉換關系將紅外圖像對齊至彩色圖像。類似的，電子設備也通過對深度圖像和彩色圖像識別出相同的一系列點，最終生成深度圖像和彩色圖像的之間的坐標轉換關系，電子設備根據該坐標轉換關系將深度圖像對齊至彩色圖像。然而，電子設備在生成紅外圖像和彩色圖像之間的坐標轉換關系時，需要使用深度圖像的像素值，也就是說，在深度圖像、紅外圖像和彩色圖像在空間上的對齊方案中，深度圖像、紅外圖像和彩色圖像三者之間存在一定的耦合，這將導致三者對齊效果不佳的問題。

發明內容

本申請提供一種圖像對齊方法、裝置、設備及存儲介質，從而可以提高深度圖像、紅外圖像和彩色圖像三者的對齊效果。

第一方面，提供一種圖像對齊方法，包括：獲取目標物的深度圖像、紅外圖像和彩色圖像，深度圖像和紅外圖像是由紅外相機拍攝的，彩色圖像是由紅綠藍RGB相機拍攝的；根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將紅外圖像對齊至彩色圖像；根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將深度圖像對齊至彩色圖像。

第二方面，提供一種圖像對齊方法，包括：獲取目標物的深度圖像、紅外圖像和彩色圖像，深度圖像和紅外圖像是由紅外相機拍攝的，彩色圖像是由RGB相機拍攝的；根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將彩色圖像對齊至深度圖像或者紅外圖像。

第三方面，提供一種圖像對齊裝置，包括：獲取模塊、第一對齊模塊和第二對齊模塊，其中，獲取模塊用于獲取目標物的深度圖像、紅外圖像和彩色圖像，深度圖像和紅外圖像是由紅外相機拍攝的，彩色圖像是由RGB相機拍攝的；第一對齊模塊用于根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將紅外圖像對齊至彩色圖像；第二對齊模塊用于根據紅外相機的內參、RGB相機的內參、紅外相機與RGB相機之間的相機外參將深度圖像對齊至彩色圖像。

可選的，第一對齊模塊具體用于：根據紅外相機的內參將紅外圖像從紅外像素坐標系轉換到紅外相機坐標系，以得到第一圖像。根據相機外參將第一圖像從紅外相機坐標系轉換到RGB相機坐標系，以得到第二圖像。根據RGB相機的內參將第二圖像從RGB相機坐標系轉換到RGB像素坐標系。

可選的，第二對齊模塊具體用于：根據紅外相機的內參將深度圖像從紅外像素坐標系轉換到紅外相機坐標系，以得到第三圖像。根據相機外參將第三圖像從紅外相機坐標系轉換到RGB相機坐標系，以得到第四圖像。根據RGB相機的內參將第四圖像從RGB相機坐標系轉換到RGB像素坐標系。