[發明專利]基于三維場景的視頻融合方法以及裝置、存儲介質、電子裝置

有效

• 申請號: 202111125420.9
• 申請日: 2021-09-24
• 公開（公告）號: CN113870163B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 平紅燕;張帥;趙彬鋒
• 申請（專利權）人: 埃洛克航空科技（北京）有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T19/00;G06T5/00;G06T7/73;G06T7/80
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 高科;李志剛

本申請公開了一種基于三維場景的視頻融合方法以及裝置、存儲介質、電子裝置。該方法包括獲取視頻流中至少一幀二維圖像中的多組像素坐標信息以及獲取所述多組像素坐標在三維場景中對應的世界坐標信息；根據所述多組像素坐標信息、所述三維場景中對應的世界坐標信息、所述虛擬相機的內參矩陣、所述虛擬相機的畸變矩陣，獲得所述虛擬相機的外參矩陣；根據所述虛擬相機的外參矩陣，確定所述虛擬相機在世界坐標中的位置；根據虛擬相機在世界坐標系中的位置、虛擬相機的內參矩陣、虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合。本申請解決了使用標定板容易造成誤差，影響視頻融合的技術問題。通過本申請實現了三維場景的視頻融合。

技術領域

本申請涉及三維場景視頻融合領域，具體而言，涉及一種基于三維場景的視頻融合方法以及裝置、存儲介質、電子裝置。

背景技術

在一些視頻融合場景中，需要將視頻流中的真實二維圖像投射到三維虛擬場景中。

相關技術中，通過使用標定板確定真實相機內參、畸變；但是由真實相機存在光學誤差，如果對虛擬相機使用則容易造成計算相機位置時的誤差。

針對相關技術中標定板容易造成誤差，影響視頻融合的問題，目前尚未提出有效的解決方案。

發明內容

本申請的主要目的在于提供一種基于三維場景的視頻融合方法以及裝置、存儲介質、電子裝置，以解決標定板容易造成誤差，影響視頻融合的問題。

為了實現上述目的，根據本申請的一個方面，提供了一種基于三維場景的視頻融合方法。

根據本申請的用于三維場景的視頻融合方法包括：獲取視頻流中至少一幀二維圖像中的多組像素坐標信息以及所述多組像素坐標在三維場景中對應的世界坐標信息；根據所述多組像素坐標信息、所述三維場景中對應的世界坐標信息、所述虛擬相機的內參矩陣、所述虛擬相機的畸變矩陣，獲得所述虛擬相機的外參矩陣，其中所述虛擬相機的畸變矩陣置零；根據所述虛擬相機的外參矩陣，確定所述虛擬相機在世界坐標中的位置；根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合。

進一步地，所述獲取視頻流中至少一幀二維圖像中的多組像素坐標信息以及所述多組像素坐標在三維場景中對應的世界坐標信息，還包括：所述至少一幀二維圖像中的多組像素坐標信息至少包括：三組像素坐標信息，所述多組像素坐標在三維場景中對應的世界坐標信息包括：所述三組像素坐標信息對應的世界坐標信息；所述三組像素坐標信息按照如下步驟進行取點：對于像素坐標對應的第一位置點、第二位置點在所述第一點水平方向上、第三位置個點在所述第一位置個點的垂直方向上；根據所述第一位置點、第二位置點以及第三位置點，在三維場景中獲取所述對應的世界坐標信息。

進一步地，所述根據所述多組像素坐標信息、所述三維場景中對應的世界坐標信息、所述虛擬相機的內參矩陣、所述虛擬相機的畸變矩陣，獲得所述虛擬相機的外參矩陣，其中所述虛擬相機的畸變矩陣置零，包括：根據至少三組像素點坐標信息、所述三維場景中對應的世界坐標信息、所述相機內矩陣、置零的所述畸變參數矩陣，計算出所述虛擬相機的平移向量以及旋轉向量。

進一步地，所述根據所述虛擬相機的外參矩陣，確定所述虛擬相機在世界坐標中的位置，包括：從所述虛擬相機的旋轉向量中提取旋轉矩陣，并計算相機坐標系的三軸旋轉歐拉角，其中所述三軸旋轉歐拉角對應于在所述三維場景下的旋轉角、滾轉角、俯仰角；從所述虛擬相機的平移向量提取平移矩陣，并將所述平移矩陣的坐標至原點進行反向旋轉之后，獲得所述虛擬相機在世界坐標中的位置。

進一步地，所述根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合包括：根據所述虛擬相機在世界坐標中的位置、所述三維場景下的旋轉角、滾轉角、俯仰角、所述虛擬相機的FOV，將所述視頻流逐幀投射到所述三維場景中進行融合，與預置實景模型融合顯示。