[發明專利]一種圖像與三維模型融合方法

有效

• 申請號: 201711379612.6
• 申請日: 2017-12-20
• 公開（公告）號: CN109003250B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 劉文林;黃隆;盧天發;張彬彬;江文濤;陳延藝;陳延行
• 申請（專利權）人: 羅普特科技集團股份有限公司
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T19/20
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 黃斌

1.一種圖像與三維模型融合方法，其特征在于

步驟一：對視頻圖像進行判讀，選取若干特征點作為頂點構成多邊形；

步驟二：應用環境仿真引擎對三維模型進行判讀，在三維模型上對照視頻圖像中選取的特征點劃出相同直線方向、相同直線長度、相同個數特征點的區域，使這些三維模型特征點能夠與視頻圖像中選取的特征點在空間上重合；

步驟三：將步驟二選取的三維模型中的特征點作多邊形連接，并將所有特征點作為多邊形頂點的區域挖出；

步驟四：1)對三維模型特征點作像素位置計算；設選取的作為頂點多邊形特征點集合為A，自動計算像素的特征點集合為B；

2)對視頻圖像的特征點作像素位置計算；選取頂點組成閉合多邊形特征點像素位置的集合稱為A1；自動計算像素的特征點集合稱為B1；

步驟五：對三維模型進行判讀，在三維模型上對照視頻圖像特征點集合A選取N個特征點，使其與視頻圖像特征點集合A在空間上重合；

步驟六：將三維模型中選取的N個特征點作多邊形連接，將所述N個特征點作為頂點的多邊形挖出；

步驟七：對三維模型特征點作像素位置計算；

首先，分別劃出模型特征點映射到的對應的視頻圖像像素點所在的四邊形a，找到四邊形b，c，d，e共邊的四個四邊形；

其次，設點Bj在四邊形a中，四邊形b，c，d，e分別和a存在共邊lb，lc，ld，le；

再次，分別計算出點Bj到四邊形a的四條邊的垂直距離分別為hb，hc，hd，he；Bj關于四邊形b，c，d，e的反向映射位置(ub，vb)，(uc，vc)，(ud，vd)，(ue，ve)；Bj在四邊形a上的反向映射為(ua，va)；

Bj的位置為ua1＝ua/2+wb*ub+wc*uc+wd*ud+we*ue；

vb1＝vb/2+wb*vb+wc*vc+wd*vd+we*ue；

步驟八：對每一個視頻圖像的特征點做權重映射計算，使視頻圖像特征點位置與三維模型的特征點位置投影重合；

步驟九：將每一個視頻圖像的特征點與三維模型相同特征點進行重疊，實現視頻圖像的特征點與三維模型相同特征點融合，并且使各圖像其他像素點根據權重計算出映射變形量，達到與三維模型的自動融合；

步驟十：將完成圖像與三維模型融合的多邊形重新粘貼回三維模型。

2.根據權利要求1所述的一種圖像與三維模型融合方法，其特征在于，當圖像為非正面拍攝圖像時改變步驟八為：

步驟八：在Bj點分別作hb，hc，hd，he的延長線穿越Bj點，與相應邊在四邊形a中的對邊線相交，定義出bd/db/ce/ec；通過兩點求長度計算距離bd/db/ce/ec；

Bj關于四邊形b的權重為wb＝(1-hb/db)/4，同理：Bj關于四邊形c的權重為wc＝(1-hc/ec)/4，Bj關于四邊形d的權重為wd＝(1-hd/bd)/4，Bj關于四邊形e的權重為we＝(1-he/ce)/4；

Bj的位置為ua1＝ua/2+wb*ub+wc*uc+wd*ud+we*ue；

vb1＝vb/2+wb*vb+wc*vc+wd*vd+we*ue；

對每一個視頻圖像的特征點做權重映射計算，使視頻圖像特征點位置與三維模型的特征點位置投影重合；

其中，步驟八之后還包括：

步驟九：將每一個視頻圖像的特征點與三維模型相同特征點進行重疊，實現視頻圖像的特征點與三維模型相同特征點融合，并且使各圖像其他像素點根據權重計算出映射變形量，達到與三維模型的自動融合；

步驟十：將完成圖像與三維模型融合的多邊形重新粘貼回三維模型。

3.根據權利要求1所述的一種圖像與三維模型融合方法，其特征在于，所述三維模型是自然地理模型或樓房、橋梁、機場實體模型。

4.根據權利要求1所述的一種圖像與三維模型融合方法，其特征在于，選取若干特征點≤2000。