[發(fā)明專利]基于單目紅外的夜間機器人視覺大視場三維構(gòu)建方法

在審

• 申請?zhí)枺?/td>: 201710117065.8
• 申請日: 2017-03-01
• 公開（公告）號: CN106960442A
• 公開（公告）日: 2017-07-18
• 發(fā)明（設(shè)計）人: 孫韶媛;黃珍;葉國林;高凱珺;姚廣順
• 申請（專利權(quán)）人: 東華大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06T7/55;G06T3/40;G06K9/46
• 代理公司: 上海申匯專利代理有限公司31001
• 代理人: 翁若瑩,柏子雵

1.一種基于單目紅外的夜間機器人視覺大視場三維構(gòu)建方法，其特征在于，包括以下步驟：

步驟1、在同一水平面內(nèi)旋轉(zhuǎn)拍攝一系列180°范圍內(nèi)的紅外圖像，得到序列圖像；

步驟2、通過柱面投影變換公式將序列圖像投影到柱面空間坐標系中；

步驟3、在柱面空間坐標系中，選取序列圖像中的第一幀紅外圖像作為參考圖像，通過LM算法優(yōu)化序列圖像中其他紅外圖像到參考圖像的變換矩陣，其中，序列圖像中任意相鄰的兩幅紅外圖像之間的變換矩陣通過以下步驟得到：

步驟3.1、通過相位相關(guān)法計算兩幅相鄰紅外圖像之間的位移量，以確定其重合區(qū)域，在重合區(qū)域中提取SIFT特征點，同時根據(jù)圖像水平位移量和漸入漸出法，生成加權(quán)圖；

步驟3.2、對步驟3.1提取的SIFT特征點，首先采用相似性度量的方法，進行特征點粗匹配，尋找相鄰紅外圖像間的關(guān)鍵匹配對，之后采用RANSAC魯棒性估計算法消除偽匹配點，利用正確的匹配點對估計單應(yīng)性矩陣參數(shù)，以確定相鄰紅外圖像之間的變換矩陣；

步驟4、根據(jù)步驟3得到的變換矩陣將序列圖像中的所有紅外圖像進行配準對齊，然后采用多分辨率方法分解紅外圖像，在多尺度空間采用步驟3.1得到的加權(quán)圖進行加權(quán)融合，從而得到大視場紅外拼接圖像；

步驟5、對大視場紅外拼接圖像進行三維重建，構(gòu)建紅外大視場三維模型。

2.如權(quán)利要求1所述的一種基于單目紅外的夜間機器人視覺大視場三維構(gòu)建方法，其特征在于，所述步驟5包括以下步驟：

步驟5.1、對大視場紅外拼接圖像進行超像素分割以及多尺度特征提取；

步驟5.2、將步驟5.1得到的分割圖像和經(jīng)過多尺度特征提取得到的特征信息輸入到已訓(xùn)練的面板參數(shù)馬爾可夫模型中，進行面板參數(shù)估計；

步驟5.3、根據(jù)面板參數(shù)馬爾可夫模型，對大視場紅外拼接圖像進行深度估計，并構(gòu)建紅外大視場三維模型。

3.如權(quán)利要求1所述的一種基于單目紅外的夜間機器人視覺大視場三維構(gòu)建方法，其特征在于，在所述步驟3中，對紅外圖像I_i及其相鄰的紅外圖像I_j而言，優(yōu)化紅外圖像I_j到參考圖像的變換矩陣H_j的方法為：

步驟3-1、假設(shè)H_ij表示紅外圖像I_i到相鄰紅外圖像I_j的變換矩陣，且紅外圖像I_j到參考圖像的變換矩陣為H_j，則紅外圖像I_i到參考圖像的變換矩陣H_i＝H_ijH_j；

步驟3-2、給定一組匹配點即特征匹配對，分別表示紅外圖像I_i和紅外圖像I_j中的第k，l個SIFT特征點，則對應(yīng)點相對參考圖像變換后的誤差由下式計算：

$r_{ij}^k=u_i^k-u_{ij}^k=\left|\right|u_i^k-{H_i}^{-1}{H}_j{u}_j^l\left|\right|$

式中，表示從圖像I_j到圖像I_i的投影；

步驟3-3、將全部的特征匹配對按式子求和，可以得到：

$e=\underset{k\∈S(i,j)}{\Σ}f\left(r_{ij}^k\right)$

式中，e表示誤差總和，S(i，j)表示紅外圖像I_i和紅外圖像I_j之間特征匹配對的集合，f(x)是一個誤差函數(shù)，表示為：

式中，以口＝∞來初始化，使用LM算法進行求解，通過最小化誤差值來調(diào)整紅外圖像到參考圖像的單應(yīng)性矩陣，從而實現(xiàn)對H_j的調(diào)整。