[發明專利]多模態熱源識別及三維空間定位系統、方法及存儲介質

有效

• 申請號: 202011612452.7
• 申請日: 2020-12-30
• 公開（公告）號: CN112581545B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 陳海波;朱峰
• 申請（專利權）人: 深蘭科技（上海）有限公司
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T7/70;G06T5/50;G01D21/02
• 代理公司: 常州佰業騰飛專利代理事務所(普通合伙) 32231
• 代理人: 滕詣迪

本發明公開了一種多模態熱源識別及三維空間定位系統、方法及存儲介質，對輸入的可見光圖像、熱像、深度點云獲取各自的信息；將所述的輸入裝置中的可見光特征圖像、熱像、以及深度信息三者進行標定，不同景深的彩色圖像與熱像圖像的標定對應，消除雙光融合后的信息錯位；熱像圖像坐標上的溫度數據與深度信息對應，矯正檢測的溫度偏差，最后得到傳感器內外參數的標定方法與裝置，并生成融合后的完整數據集/關系，從而獲得空間上對應的多維數據；本發明在移動中的火源識別與位置定位，移動中的無接觸式人體體溫檢測，在更大距離區間內熱像數據與圖像數據的精確對齊、動態距離變化中的物體測溫準確性等方面提高性能。

技術領域

本發明涉及熱源追蹤、熱成像、視覺感知、圖像識別、圖像定位領域，更具體地涉及一種多模態光譜信息識別及三維空間定位方法。

背景技術

當前以熱成像為主熱源圖像識別、已經有較多的應用，比如火災檢測、熱源檢測、熱紅外夜視等，但是少有能夠將熱成像、可見光、深度信息精確融合的技術。

現有的純熱成像圖像識別技術，具有信息不完整，可實現的業務應用場景小，只有溫度信息，缺少可見光信息，不便判斷對象，如人臉，車牌等信息。

現有的可見光(包括普通紅外光)的對象識別技術，難以實現對一些特定物體的準確識別，比如火，但是熱像卻能夠通過溫度識別快速做出判斷。

現有的可見光與熱紅外的雙光融合技術，缺少距離信息，特別是熱像與可見光攝像頭重疊視角范圍內的深度信息，導致熱像數據與可見光像素的匹配、熱像數據的溫度數值隨著距離變化存在較大的測量誤差。

發明內容

1、本發明的目的

本發明為解決三維空間內實時可見光/近紅外、熱成像、點云等深度信息的實時同步采集與融合；提升相關數據信息的融合采集能力與準確性，為后端處理提供一種多模態融合的數據信息，提升業務應用的可能性與準確性，而提出了一種多模態火源識別及三維空間定位系統及方法。

2、本發明所采用的技術方案

一種多模態熱源識別及三維空間定位系統，包括：

對輸入的可見光圖像、熱像、深度信息獲取各自的信息；

將所述的輸入裝置中的可見光特征圖像、熱像、以及深度信息三者進行標定，不同深度的彩色圖像與熱像圖像的標定對應，消除雙光融合后的信息錯位；熱像圖像坐標上的溫度數據與深度信息對應，矯正檢測的溫度偏差，并同時標定傳感器內外參數，生成融合后的完整數據集或關系，從而獲得空間上對應關聯的多維數據集；

在標定三種傳感器的位置關系時，標定裝置同時集成可見光圖案特征、熱紅外特征(溫度特征)、以及深度特征信息，并以任意一種為基準，另外兩種數據以其基準進行矯正和標定，得到以其中某一個數據源的空間位置作為基準的內外參數標定關系，用于數據矯正與融合。

優選的，獲取深度信息和可見光特征圖像的設備為集成裝置或分體裝置。

優選的，獲取深度信息和可見光特征圖像的設備為集成裝置，可輸出內置標定的彩色圖像與深度信息；

可見光攝像頭與熱像攝像頭所覆蓋的可視區域內，標定板移動范圍內其所有特征至少被可見光攝像頭與熱像攝像頭中的一種完全采集；且采集的部分數據可被可見光攝像頭與熱像攝像頭的視角重疊區域同時完整采集；

內參參數通過標定板采集的數據以及經典的相機內參外參校準方法獲得；外參參數，分別求出同一標定板位置相對于可見光攝像頭與熱像攝像頭的相對位置后，獲取多組不同標定板位置的數據進行誤差校正得到可見光攝像頭與熱成像攝像頭的相對空間位置信息以及以其中一個攝像頭所在坐標系為準的xyz相對位置關系和3軸旋轉角度差；從而深度傳感器所采集的信息對應的可見光攝像頭位置關系，獲得可見光特征圖像、熱像、以及深度信息在同一空間內的位置關系；將熱像圖像和可見光圖像上所采集的像素點，通過透視關系映射到深度信息的坐標上。