[發明專利]基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統

有效

• 申請號: 201710218682.7
• 申請日: 2017-04-05
• 公開（公告）號: CN107067470B
• 公開（公告）日: 2019-09-06
• 發明（設計）人: 方正;盧紹文;王克棟
• 申請（專利權）人: 東北大學
• 主分類號: G06T17/20
• 分類號: G06T17/20
• 代理公司: 沈陽優普達知識產權代理事務所(特殊普通合伙) 21234
• 代理人: 李曉光

1.一種基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統，其特征在于包括：主處理單元、溫度信息采集單元以及三維點云信息采集單元；其中主處理單元利用所包含的GPU器件實現對數據的處理與軟件的運行；溫度信息采集模塊實現對物體表面溫度信息的采集；三維點云信息采集模塊實現對物體表面三維空間信息的采集，物體表面溫度信息和物體表面三維空間信息傳輸至主處理單元進行處理，將處理后的信息通過可視化上位機進行顯示；

其中，主處理單元實現對數據的處理與軟件的運行，對數據的處理包括以下步驟：

信息采集單元參數標定：把信息采集單元采集到的初始數據進行預處理時空標定；

位姿估計：將顏色信息與深度信息進行處理，得到傳感器相對于目標物體的位置和方向即位姿；

數據存儲：將信息采集單元采集到的海量數據，通過TSDF體集成算法把圖像的深度信息和位姿進行結合，得到目標物體表面在TSDF空間的距離信息；

模型表面提取：將隱含表示物體表面的距離數據轉換為能進一步處理的三維點云數據；

表面重建：通過提取出的物體表面的三維點云數據，利用PCL點云庫下的表面重建算法進行三維溫度場模塊重建，將目標物體表面的點云信息轉換成可以用于可視化軟件顯示的致密的網格表面，最終輸出目標物體表面的ply格式的網格模型，具體為：

對于已得到的三維點云坐標，根據其對應體素的RGB值與紅外溫度值對其進行賦值即可以得到顏色點值，最后將所有的體素都進行遍歷處理就可以得到物體表面的顏色點云數據，并最終將這些數據用于物體致密模型的表面重建過程；

表面重建算法中曲面重建的過程隨著物體表面點云的提取不斷的增量時進行，利用貪婪投影三角化算法實現，

先將有向點云投影到某一局部二維坐標平面內，再在坐標平面內進行平面內的三角化，再根據平面內三位點的拓撲連接關系獲得一個三角網格曲面模型，從而得到各點之間的連接關系；

基于Delaunay的空間區域增長，通過選取某個樣本三角片作為初始曲面，不斷擴張曲面邊界，最后形成一張完整的三角網格曲面；

最后根據投影點云的連接關系得到原始三維點間的拓撲關系，所得三角網格即為重建得到的曲面模型。

2.按權利要求1所述的基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統，其特征在于：所述信息采集單元參數標定，是對相機傳感器內在誤差、硬件系統外部誤差以及數據采集的時間誤差的校正，建立其相機成像物理模型所對應的數學模型：

其中，u，v表示的是圖像坐標系(u,v)，dx、dy為轉換因子，Z_C表示的是相機坐標系(X_C,Y_C,Z_C)中的Z軸，X_W，Y_W，Z_W表示的是世界坐標系(X_W,Y_W,Z_W)，f_x、f_y、R、α、β為待標定參數，M₁為內參數矩陣，M₂為外參數矩陣，為矩陣[X_W,Y_W,Z_W]^T，u0,v0為像素平面坐標系(u,v)的中心，0T為0矩陣的轉置，旋轉矩陣R和平移矩陣，t為相機的外部參數，R為3*3矩陣，t為3*1矩陣，0為(0，0，0)。

3.按權利要求1所述的基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統，其特征在于：位姿估計中顏色信息是將加權后的RGB圖像信息和紅外圖像信息與深度信息進行處理，具體為：將時空標定后的RGB圖像和時空標定后的紅外圖像進行加權處理；

加權處理后的圖像再與標定后深度圖像通過ICP算法對相近的兩幅深度圖像進行迭代變換估計，得到前一幀圖像和后一幀圖像顏色信息的權值ω和深度信息的距離d；

時空標定后的紅外圖像與位姿和深度信息經過一系列的坐標變換，放到TSDF體中。

4.按權利要求1所述的基于紅外熱像儀與深度相機的便攜式三維溫度場重建系統，其特征在于模型表面提取是通過TSDF體集成算法把圖像的深度信息和位姿進行結合，得到目標物體表面在TSDF空間的隱式的距離信息；將目標物體表面在TSDF空間的隱式的距離信息轉換成顯式的、計算機可識別的點云信息，具體為：

從第一個體素點開始，依次判斷前后兩個體素中所存儲的TSDF值的變號情況，當遇到變號，則保存當前體素的坐標值，并取得當前體素坐標對應的RGB體數據的值與紅外體數據的值；

對于已經保存的坐標值(x,y,z)，根據預先設定的分辨率以及體數據的大小求得這個體素坐標對應的現實世界的頂點坐標(V_x,V_y,V_z),然后保存該體素中的TSDF值F_n，再按照當前幀實現方向，分別取得體素坐標的頂點坐標以及該體素給所存儲的TSDF值；

對于已經得到的體素利用如下公式做三線性插值求得x、y、z方向的坐標即為提取得到的表面的三維點云坐標信息(p_x,p_y,p_z)：