[發(fā)明專利]基于RGB特征與深度特征的原始圖像層融合方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201611038709.6
• 申請日: 2016-11-23
• 公開（公告）號: CN106778810A
• 公開（公告）日: 2017-05-31
• 發(fā)明（設(shè)計(jì)）人: 袁家政;劉宏哲;郭燕飛
• 申請（專利權(quán)）人: 北京聯(lián)合大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京馳納智財(cái)知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11367
• 代理人: 謝亮

技術(shù)領(lǐng)域

本發(fā)明涉及一種機(jī)器視覺及圖像融合領(lǐng)域，具體的說，是涉及一種基于RGB特征與深度特征的原始圖像層融合方法及系統(tǒng)。

背景技術(shù)

圖像融合是將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場景的圖像或者圖像序列信息加以綜合，以生成新的有關(guān)此場景解釋的處理信息，而這種信息無法從單一的圖像源中獲取，融合后可以獲取更可靠，更豐富，更準(zhǔn)確的有用信息。

深度學(xué)習(xí)是機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究熱點(diǎn)，其目的是建立多層神經(jīng)網(wǎng)絡(luò)，能模仿人腦的機(jī)制來分析和解釋圖像、音頻和文本等數(shù)據(jù)。深度學(xué)習(xí)通過組合淺層特征形成更加抽象的高層特征，以發(fā)現(xiàn)數(shù)據(jù)的更深層次的分布式特征表示。深度學(xué)習(xí)引起了計(jì)算機(jī)視覺領(lǐng)域的一場變革，許多研究者和現(xiàn)代科技公司都將目光投向了如何將深度學(xué)習(xí)應(yīng)用到各種工業(yè)領(lǐng)域中，并已經(jīng)取得了一定的效果。目前深度學(xué)習(xí)在圖像識別、場景識別、物體追蹤等方面都已經(jīng)取得了顯著的效果，表現(xiàn)出極大的應(yīng)用價(jià)值。

圖像識別是計(jì)算機(jī)視覺領(lǐng)域最重要也是最困難的問題之一，在過去的研究工作中，基于RGB圖像和灰度圖像的圖像識別工作取得了極大地進(jìn)展。但是由于RGB圖像和灰度圖像自身的局限性，圖像識別在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用并不是很成功。例如在室內(nèi)機(jī)器人應(yīng)用方面，由于識別精度達(dá)不到指定的要求，圖像識別在室內(nèi)機(jī)器人的應(yīng)用上一度陷入瓶頸。提高圖像識別的準(zhǔn)確率對于自主式機(jī)器人的普及具有決定性的意義。

20世紀(jì)初，有學(xué)者提出手動(dòng)特征提取方法，該方法主要借助于基于方向直方圖的精心設(shè)計(jì)的特征，例如SIFT特征和HOG特征，而且這些特征也取得了很好的成果。然而這些手動(dòng)提取的特征僅僅能夠捕捉到少量的識別信息。例如SIFT特征雖然對于旋轉(zhuǎn)、尺度縮放和亮度變化保持一定的不變性，但是忽略了顏色信息而且該方法通過對特征點(diǎn)構(gòu)造向量，然后對向量進(jìn)行匹配，這樣圖像就得滿足足夠多的紋理，否則構(gòu)造出來的向量的判別性就不是很大。為了適用于新的數(shù)據(jù)模態(tài)例如RGB-D圖像，Lai等人在《A large-scale hierarchical multi-view rgb-d object dataset》中僅僅對SIFT算法進(jìn)行一些簡單的擴(kuò)展，使其能夠適用于深度圖像。后來，有些學(xué)者曾提出過無監(jiān)督特征學(xué)習(xí)方法。無監(jiān)督特征學(xué)習(xí)方法可以從圖像數(shù)據(jù)中學(xué)習(xí)到更具能力的圖像表示。自從Hinton等人在《Hinton G E,Salakhutdinov R R.Reducing the dimensionality of data with neural networks》一文中提出信念信息網(wǎng)絡(luò)(DBN)以及對應(yīng)的學(xué)習(xí)算法，緊接著分層稀疏編碼以及基于K-means的特征學(xué)習(xí)算法被相繼提出。雖然這些算法在物體識別方面都取得了很大的成功，但是他們通常只是基于RGB圖像或灰度圖像。雖然可以直接把這些算法運(yùn)用到RGB-D圖像上，但是卻不能充分利用多模態(tài)圖像所攜帶的信息并且計(jì)算復(fù)雜。以上所述的文獻(xiàn)，都反映了圖像融合研究的一個(gè)問題，很難設(shè)計(jì)出一種能夠適用于各類圖像的融合算法，因此在實(shí)際應(yīng)用中一般針對不同的圖像庫開發(fā)不同的圖像融合算法，目前已有的算法無法滿足對深度圖像和RGB圖像的融合。基于以上算法的不足，我們提出一種RGB特征和深度特征原始圖像層融合算法。采用新一代傳感技術(shù)的RGB-D相機(jī)(如Kinect相機(jī))能夠同時(shí)記錄高分辨率的RGB圖像和深度圖像。RGB-D相機(jī)可拍攝高分辨率的RGB-D圖像同時(shí)包含RGB圖像和深度圖像兩種圖像。RGB圖像包含物體的表面顏色信息和紋理信息，深度圖像包含物體的空間形狀信息，他不隨亮度和顏色的變化而變化。RGB圖像和深度圖像對彼此是一種有效的補(bǔ)充。研究表明，基于RGB-D圖像的物體識別，可明顯提高物體識別的準(zhǔn)確率。如何利用深度學(xué)習(xí)技術(shù)有效的結(jié)合RGB圖像和深度圖像來提高物體的識別準(zhǔn)確率成為了深度學(xué)習(xí)領(lǐng)域的一個(gè)新的研究方向。

現(xiàn)有的基于RGB-D圖像識別的研究工作過程中，存在一個(gè)普遍的現(xiàn)象：由于RGB信息或者深度信息區(qū)別力較低或者信息缺失等原因，某些類別物體的基于RGB特征或者深度特征的識別準(zhǔn)確率相對較低。這種情況下，將RGB特征和深度特征進(jìn)行串聯(lián)并作為物體的最終特征來進(jìn)行物體識別，不僅不會(huì)提升物體的識別準(zhǔn)確率，反而會(huì)導(dǎo)致最終的識別準(zhǔn)確率低于單獨(dú)的基于RGB特征或者深度特征的識別準(zhǔn)確率。。