[發明專利]基于三維場景的視頻融合方法以及裝置、存儲介質、電子裝置

有效

• 申請號: 202111125420.9
• 申請日: 2021-09-24
• 公開（公告）號: CN113870163B
• 公開（公告）日: 2022-11-29
• 發明（設計）人: 平紅燕;張帥;趙彬鋒
• 申請（專利權）人: 埃洛克航空科技（北京）有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T19/00;G06T5/00;G06T7/73;G06T7/80
• 代理公司: 北京知果之信知識產權代理有限公司 11541
• 代理人: 高科;李志剛

1.一種基于三維場景的視頻融合方法，其特征在于，包括：

獲取視頻流中至少一幀二維圖像中的多組像素坐標信息以及獲取所述多組像素坐標在三維場景中對應的世界坐標信息；

根據所述多組像素坐標信息、所述三維場景中對應的世界坐標信息、虛擬相機的內參矩陣、虛擬相機的畸變矩陣，獲得所述虛擬相機的外參矩陣，其中所述虛擬相機的畸變矩陣置零；

根據所述虛擬相機的外參矩陣，確定所述虛擬相機在世界坐標中的位置；

所述根據所述虛擬相機的外參矩陣，確定所述虛擬相機在世界坐標中的位置，包括：

從所述虛擬相機的旋轉向量中提取旋轉矩陣，并計算相機坐標系的三軸旋轉歐拉角，其中所述三軸旋轉歐拉角對應于在所述三維場景下的旋轉角、滾轉角、俯仰角；

從所述虛擬相機的平移向量提取平移矩陣，并將所述平移矩陣的坐標至原點進行反向旋轉之后，獲得所述虛擬相機在世界坐標中的位置；

所述根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合包括：

根據所述虛擬相機在世界坐標中的位置、所述三維場景下的旋轉角、滾轉角、俯仰角、所述虛擬相機的FOV，將所述視頻流逐幀投射到所述三維場景中進行融合，與預置實景模型融合顯示；

根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合；

所述虛擬相機的內參矩陣中包括：

根據所述至少一幀二維圖像的中心點位置確定出所述虛擬相機內參數cx、cy，cx＝w/2，cy＝h/2，其中，所述cx、所述cy用以作為所述虛擬相機光軸在圖像坐標系中的偏移量；

根據所述至少一幀二維圖像中取得的像素寬度px以及高度py，并在所述三維場景中取得實際寬度ox、高度oy以及所述視頻相機的對地高度d，確定虛擬相機的焦距fx＝d*px/ox，fy＝d*py/oy。

2.根據權利要求1所述的方法，其特征在于，所述獲取視頻流中至少一幀二維圖像中的多組像素坐標信息以及所述多組像素坐標在三維場景中對應的世界坐標信息，還包括：

所述至少一幀二維圖像中的多組像素坐標信息至少包括：三組像素坐標信息，所述多組像素坐標在三維場景中對應的世界坐標信息包括：所述三組像素坐標信息對應的世界坐標信息；

所述三組像素坐標信息按照如下步驟進行取點：

對于像素坐標對應的第一位置點、第二位置點在所述第一位置點水平方向上、第三位置點在所述第一位置點的垂直方向上；

根據所述第一位置點、第二位置點以及第三位置點，在三維場景中獲取所述對應的世界坐標信息。

3.根據權利要求2所述的方法，其特征在于，所述根據所述多組像素坐標信息、所述三維場景中對應的世界坐標信息、虛擬相機的內參矩陣、虛擬相機的畸變矩陣，獲得所述虛擬相機的外參矩陣，其中所述虛擬相機的畸變矩陣置零，包括：

根據至少三組像素點坐標信息、所述三維場景中對應的世界坐標信息、相機內矩陣、置零的畸變參數矩陣，計算出所述虛擬相機的平移向量以及旋轉向量。

4.根據權利要求1所述的方法，其特征在于，所述根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣，將所述視頻流逐幀投射到所述三維場景中進行融合，還包括：

在所述視頻流中的圖像發生變化的情況下，根據所述虛擬相機在世界坐標系中的位置、所述虛擬相機的內參矩陣、所述虛擬相機的外參矩陣實時投射到所述三維場景中進行更新、融合。