[發明專利]基于溫度場與實景視頻流的雙模式三維建模方法及裝置

在審

• 申請號: 202010769149.1
• 申請日: 2020-08-03
• 公開（公告）號: CN111968221A
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 李捷;劉波;彭真;吳曉杭
• 申請（專利權）人: 廣東中科瑞泰智能科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/00;G06Q50/26
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 唐明磊

本申請實施例公開了基于溫度場與實景視頻流的雙模式三維建模方法及裝置。本申請實施例提供的技術方案，通過采集火災現場的點云數據，并通過紅外相機采集火災現場的紅外圖像，通過可見光相機采集火災現場的視頻流圖像，記錄紅外相機的第一位姿信息和可見光相機的第二位姿信息，進一步基于點云數據構建火災現場的初始三維模型，基于第一位姿信息將紅外圖像與初始三維模型匹配，構建溫度場三維模型，基于第二位姿信息將視頻流圖像與初始三維模型融合，構建實景三維模型，最終將溫度場三維模型和實景三維模型同屏輸出顯示。采用上述技術手段，可以實現火災現場的溫度場三維模型和實景三維模型的構建及顯示，還原火災現場情況，詳細顯示火源分布。

技術領域

本申請實施例涉及三維模型構建技術領域，尤其涉及基于溫度場與實景視頻流的雙模式三維建模方法及裝置。

背景技術

目前，在火災發生時，如若撲救不及時，難免會造成經濟損失乃至人員傷亡。因此，在火災發生時，如何對火災進行及時撲救一直是人們關注的問題。為此，現有一種三維建模方法，其在發生大型火災時，通過對火災現場進行三維建模，可以準確的還原出火災現場建筑、各類障礙物等的布局情況，消防人員基于火災現場的三維模型，即可進行救援布局，制定相應的撲救計劃，以此可提升火災撲救效率，及時撲滅火源，保障人們的生命和財產安全。

但是，由于火災現場情況復雜，現場環境瞬息萬變，僅僅通過三維模型難以較好地還原火災現場的實際情況，也難以獲知火源的具體分布情況，基于簡單的三維模型容易誤導救援布局，導致撲救計劃出錯的情況。

發明內容

本申請實施例提供基于溫度場與實景視頻流的雙模式三維建模方法及裝置，能夠準確還原火災現場情況，詳細顯示火源分布，優化火災現場信息展示效果。

在第一方面，本申請實施例提供了一種基于溫度場與實景視頻流的雙模式三維建模方法，包括：

采集火災現場的點云數據，并通過紅外相機采集火災現場的紅外圖像，通過可見光相機采集火災現場的視頻流圖像，記錄所述紅外相機的第一位姿信息和所述可見光相機的第二位姿信息；

基于所述點云數據構建火災現場的初始三維模型，基于所述第一位姿信息將所述紅外圖像與所述初始三維模型匹配，構建溫度場三維模型，基于所述第二位姿信息將所述視頻流圖像與所述初始三維模型融合，構建實景三維模型；

將所述溫度場三維模型和所述實景三維模型同屏輸出顯示。

進一步的，基于所述第一位姿信息將所述紅外圖像與所述初始三維模型匹配，構建溫度場三維模型，包括：

基于所述第一位姿信息建立所述紅外圖像上各個點與所述初始三維模型的空間點的匹配關系；

確定所述紅外圖像上各個點的溫度值，基于所述匹配關系將所述紅外圖像上各個點的溫度值映射至所述初始三維模型；

對所述初始三維模型進行插值處理，構建溫度場三維模型。

進一步的，確定所述紅外圖像上各個點的溫度值，包括：

基于所述紅外圖像上各個點的圖像特征確定各個點的溫度值。

進一步的，基于所述第二位姿信息將所述視頻流圖像與所述初始三維模型融合，構建實景三維模型，包括：

基于所述第二位姿信息在所述初始三維模型上構建所述可見光相機的虛擬視見體；

基于所述虛擬視見體的拍攝范圍利用投影紋理技術將所述視頻流圖像投影至所述初始三維模型中；

通過所述視頻流圖像與所述初始三維模型進行紋理融合構建實景三維模型。

進一步的，將所述溫度場三維模型和所述實景三維模型同屏輸出顯示，還包括：