[發(fā)明專利]一種基于端到端學(xué)習(xí)的線特征描述系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201911242520.2
• 申請(qǐng)日: 2019-12-06
• 公開(kāi)（公告）號(hào): CN111027616B
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 劉玉潔;霍占強(qiáng);劉紅敏;張一帆
• 申請(qǐng)（專利權(quán)）人: 中科南京人工智能創(chuàng)新研究院;河南理工大學(xué);中國(guó)科學(xué)院自動(dòng)化研究所
• 主分類號(hào): G06V10/75
• 分類號(hào): G06V10/75;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京泰普專利代理事務(wù)所(普通合伙) 32360
• 代理人: 竇賢宇

本發(fā)明公開(kāi)了一種基于端到端學(xué)習(xí)的線特征描述系統(tǒng)，包括圖像輸入模塊、神經(jīng)網(wǎng)絡(luò)處理模塊和直線子獲取模塊；所述圖像輸入模塊在獲取圖像信息后建立圖像數(shù)據(jù)集，分別獲取圖像中的直線、正確匹配直線對(duì)、直線的支撐區(qū)域和神經(jīng)網(wǎng)絡(luò)的輸入圖像塊；所述神經(jīng)網(wǎng)絡(luò)處理模塊對(duì)輸入的圖像塊進(jìn)行預(yù)處理并完成神經(jīng)網(wǎng)絡(luò)的構(gòu)建；所述直線子獲取模塊獲得輸入直線的描述子。本發(fā)明實(shí)現(xiàn)了簡(jiǎn)單快速地得到具有魯棒性與可區(qū)分性的直線描述子的方法。

技術(shù)領(lǐng)域

本發(fā)明涉及一種圖像處理和深度學(xué)習(xí)技術(shù)，尤其是一種基于端到端學(xué)習(xí)的線特征描述方法。

背景技術(shù)

隨著圖像處理技術(shù)的不斷發(fā)展，圖像匹配等基于特征學(xué)習(xí)的方法使用也愈加廣泛，逐漸成為圖像處理的基礎(chǔ)保障技術(shù)。在基于特征的圖像匹配中，相比于點(diǎn)特征，線特征包含更豐富的特征信息，具有更高的可靠性，以線特征作為描述基元也更符合人類視覺(jué)感知的特點(diǎn)。

有一些方法利用直線自身的幾何屬性以及相互之間的約束進(jìn)行描述與匹配。很多科學(xué)家都為之提出了一定程度上的創(chuàng)新和改革。Zeng等人用直線段中點(diǎn)、傾角等信息來(lái)輔助完成線特征的描述與匹配，然而線段幾何信息維度太低，不能充分描述圖像中的線特征。Zuliani使用物理模型中的波動(dòng)方程對(duì)比和曲線建模，但是這只適用于對(duì)閉合曲線的描述。

還有一些方法，利用已匹配的點(diǎn)特征建立約束關(guān)系進(jìn)行描述與匹配。Fan提出LP(line?matching?leveraged?by?Point?correspondences)算法，利用直線鄰域內(nèi)已匹配的點(diǎn)特征到直線的距離比建立仿射和射影不變描述子，并利用距離比的最大值和中位數(shù)判斷直線的匹配。Liu借助直線鄰域內(nèi)兩對(duì)對(duì)應(yīng)點(diǎn)構(gòu)造了第二階光照測(cè)度描述子，利用圖匹配的方法匹配直線，但其匹配的正確率依賴于對(duì)應(yīng)點(diǎn)的正確率，不適用于紋理缺乏的場(chǎng)景。

除了以上兩種，還有一些方法把直線的局部鄰域作為特征的支撐區(qū)域來(lái)構(gòu)造描述子向量。Schmid和Zisserman通過(guò)直線局部鄰域的灰度相關(guān)性來(lái)匹配直線，但其容易受到圖像顏色和亮度變化的影響，致使匹配效果不佳。Herbert等人使用線特征兩側(cè)的顏色分布直方圖來(lái)描述邊緣特性，但這種方法明顯不適用于顏色特征無(wú)顯著差異的圖像，而且描述直線的顏色直方圖易受光照變化的影響。Wang提出具有平移、旋轉(zhuǎn)、光照不變性的MSLD描述子，著重于處理沒(méi)有任何先驗(yàn)知識(shí)的自動(dòng)匹配，該描述符采用歐氏距離進(jìn)行相似性度量，對(duì)圖像的旋轉(zhuǎn)、光照變化、模糊、視點(diǎn)變化、噪聲、JPEG壓縮及部分遮擋有較高的魯棒性，可用于3維重建和對(duì)象識(shí)別，對(duì)紋理場(chǎng)景中適度的圖像變換能夠獲得良好的匹配結(jié)果，然而該研究局限于單一尺度拍攝的影像之間，對(duì)尺度變化較為敏感。

本發(fā)明通過(guò)提出一種端對(duì)端的直接提取，可以較為迅速快捷地獲取學(xué)習(xí)線特征的描述，在收斂效果較好的神經(jīng)網(wǎng)絡(luò)配合下，能夠簡(jiǎn)單快速地得到具有魯棒性與可區(qū)分性的直線描述子。

發(fā)明內(nèi)容

發(fā)明目的：提供一種基于端到端學(xué)習(xí)的線特征描述系統(tǒng)，以解決上述問(wèn)題。

技術(shù)方案：一種基于端到端學(xué)習(xí)的線特征描述系統(tǒng)，包括圖像輸入模塊、神經(jīng)網(wǎng)絡(luò)處理模塊和直線子獲取模塊，通過(guò)對(duì)圖像信息的預(yù)處理，進(jìn)一步利用神經(jīng)網(wǎng)絡(luò)進(jìn)行再處理，可以迅速獲得同時(shí)具有魯棒性和可區(qū)分性的直線描述子；

圖像輸入模塊，在獲取圖像信息后建立圖像數(shù)據(jù)集之后，首先檢測(cè)圖像中的直線，然后獲取圖像對(duì)中的正確匹配直線對(duì)，進(jìn)一步得到直線的支撐區(qū)域和神經(jīng)網(wǎng)絡(luò)的輸入圖像塊；

神經(jīng)網(wǎng)絡(luò)處理模塊，對(duì)輸入的圖像塊進(jìn)行預(yù)處理，完成神經(jīng)網(wǎng)絡(luò)的構(gòu)建之后，通過(guò)三組損失函數(shù)獲取新的網(wǎng)絡(luò)參數(shù)，進(jìn)一步更新神經(jīng)網(wǎng)絡(luò)的參數(shù)并迭代更新至指定的次數(shù)；

直線子獲取模塊，獲得輸入直線的描述子；

所述圖像輸入模塊，通過(guò)檢測(cè)圖像中的直線，獲取能夠正確匹配的直線對(duì)，進(jìn)一步獲取直線的支撐區(qū)域，進(jìn)而獲取神經(jīng)網(wǎng)絡(luò)的輸入圖像塊，具體步驟為：