[發(fā)明專利]熱像儀-RGB相機-IMU空間聯(lián)合標定方法、系統(tǒng)和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110076591.0
• 申請日: 2021-01-20
• 公開（公告）號: CN112819898A
• 公開（公告）日: 2021-05-18
• 發(fā)明（設計）人: 張吟龍;苑明哲;梁煒;趙文濤;肖金超
• 申請（專利權(quán)）人: 廣州中國科學院沈陽自動化研究所分所;中國科學院沈陽自動化研究所
• 主分類號: G06T7/80
• 分類號: G06T7/80
• 代理公司: 廣州市華學知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.熱像儀-RGB相機-IMU空間聯(lián)合標定方法，其特征在于，包括下述步驟：

熱像儀圖像特征定位，尋找熱像儀標定板的目標點位置；

熱像儀-RGB相機-IMU聯(lián)合標定，將熱像儀圖像、RGB圖像和IMU信息整合在一個統(tǒng)一的框架中，聯(lián)合估計RGB相機、IMU、熱像儀三個坐標系間的空間關系，包括熱像儀和RGB相機空間標定、熱像儀和IMU空間標定和RGB相機和IMU空間標定，然后通過最小化目標函數(shù)計算出待求的參數(shù)：

其中，T_rt表示熱像儀坐標系相對于RGB相機坐標系的變換矩陣；T_ri表示慣性坐標系相對于RGB相機坐標系的變換矩陣；T_ti表示慣性坐標系相對于熱像儀坐標系的變換矩陣，U_{repro,rgb,thermal}表示由RGB相機運動解算得到的熱像儀圖像熱源中心的重投影誤差，U_{repro,thermal,rgb}表示由熱像儀運動解算得到的RGB圖像熱源中心的重投影誤差，U_{repro,thermal,imu}表示由IMU運動解算得到的熱像儀圖像熱源中心的重投影誤差；U_α,ω,rgb表示由RGB相機運動解算得到的IMU慣性加速度和角速度的誤差項之和，U_{α,ω,thermal}表示由熱像儀運動解算得到的IMU慣性加速度和角速度的誤差項之和；

T_rt,T_ri,T_ti滿足以下約束：

T_ti·T_ri^-1·T_rt＝T_tr·T_rt＝I

其中I是單位矩陣，(T_ti·T_ri^-1)描述了從RGB相機坐標系到熱像儀坐標系的轉(zhuǎn)換關系，將T_ti·T_ri^-1·T_rt＝T_tr·T_rt＝I添加到目標函數(shù){T_rt,T_ri,T_ti}中，得到熱像儀-RGB相機-IMU坐標系之間的空間關系。

2.根據(jù)權(quán)利要求1所述的熱像儀-RGB相機-IMU空間聯(lián)合標定方法，其特征在于，所述熱像儀圖像特征定位采用混合高斯分布模型來尋找熱像儀標定板的目標點位置，將照明區(qū)域建模為多個高斯分布，描述如下：

其中A_i是第i個熱源中心的幅值；λ_i和μ_i分別代表第i個特征區(qū)域內(nèi)位置及其對應的照明區(qū)域質(zhì)心；Σ_i表示第i個區(qū)域高斯分布的協(xié)方差矩陣；通過優(yōu)化目標函數(shù)來估計未知參數(shù)集{A_i,μ_i,Σ_i}:

其中I(x,y)表示(x,y)的像素值；Ω_i表示第i個照明區(qū)域中的像素候選組；即使在燈泡部分區(qū)域丟失的情況下，仍然能夠通過優(yōu)化該目標函數(shù)精確定位照明區(qū)域中心。

3.根據(jù)權(quán)利要求1所述的熱像儀-RGB相機-IMU空間聯(lián)合標定方法，其特征在于，在熱像儀-RGB相機-IMU聯(lián)合標定，所述目標函數(shù)包括：熱像儀圖像目標點的重投影誤差和RGB圖像中角點的重投影誤差、熱像儀圖像目標點的重投影誤差和IMU的加速度及角速度誤差、RGB圖像中角點的重投影誤差和IMU的加速度及角速度誤差。