[發(fā)明專利]圖像配準(zhǔn)方法及裝置

在審

• 申請?zhí)枺?/td>: 201510532152.0
• 申請日: 2015-08-26
• 公開（公告）號: CN105184781A
• 公開（公告）日: 2015-12-23
• 發(fā)明（設(shè)計(jì)）人: 胡事民;朱哲
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京路浩知識產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李相雨

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，尤其涉及一種圖像配準(zhǔn)方法及裝置。

背景技術(shù)

圖像配準(zhǔn)是計(jì)算機(jī)圖形學(xué)和計(jì)算機(jī)視覺中重要的研究問題，是圖像拼接和融合中的關(guān)鍵技術(shù)。圖像配準(zhǔn)就是將不同時(shí)間、不同傳感器或不同條件下獲取的兩幅或多幅圖像進(jìn)行匹配、疊加的過程。例如，待配準(zhǔn)的圖像是同一相機(jī)圍繞著焦點(diǎn)在一個(gè)方向上進(jìn)行旋轉(zhuǎn)后拍攝所得，通過對重合區(qū)域的特征點(diǎn)進(jìn)行匹配，使用投影變換可以近似地將這些圖像變換到同一個(gè)成像平面。而在一般的情況下，當(dāng)相機(jī)的位置和拍攝角度任意變換的時(shí)，只有當(dāng)場景中所有物體位于同一個(gè)平面內(nèi)才可以用投影變換來表示他們之間的位置關(guān)系。因此，對于一般場景在不同位置和角度拍攝的圖像，投影變換已經(jīng)不能對他們的位置關(guān)系進(jìn)行表示。

在實(shí)際應(yīng)用中，對同一場景的拍攝通常是不同相機(jī)在不同角度和位置進(jìn)行拍攝，這就使得新拍攝的圖像與之前拍攝的圖像相比，可能存在相機(jī)設(shè)置參數(shù)不同，場景中物體深度不一致等情況，當(dāng)然也就無法用一個(gè)投影變換進(jìn)行配準(zhǔn)。因此，如何對同一場景在不同設(shè)備、不同位置及不同角度拍攝的圖像進(jìn)行高配準(zhǔn)率的配準(zhǔn)成為一個(gè)亟待解決的問題。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明提供一種圖像配準(zhǔn)方法及裝置，有效地提高了圖像配準(zhǔn)的配準(zhǔn)率。

第一方面，本發(fā)明提供一種圖像配準(zhǔn)方法，所述方法包括：

提取源圖像與待配準(zhǔn)圖像中的特征點(diǎn)，并對所述特征點(diǎn)進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配特征點(diǎn)；

提取所述源圖像與待配準(zhǔn)圖像中的直線段，并對所述直線段進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配直線段；

以所述匹配特征點(diǎn)及所述匹配直線段為約束條件對所述待配準(zhǔn)圖像進(jìn)行變形處理，以使變形處理后的圖像和所述源圖像的匹配特征點(diǎn)的位置一致及匹配直線段的方向一致；

將所述變形處理后的圖像作為對所述待配準(zhǔn)圖像進(jìn)行配準(zhǔn)后的圖像。

可選地，所述提取源圖像與待配準(zhǔn)圖像中的特征點(diǎn)，并對所述特征點(diǎn)進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配特征點(diǎn)，具體包括：

提取所述源圖像與待配準(zhǔn)圖像的SIFT特征點(diǎn)，并確定所述SIFT特征點(diǎn)的特征描述子；

根據(jù)所述SIFT特征點(diǎn)的特征描述子，確定所述源圖像與待配準(zhǔn)圖像的匹配特征點(diǎn)。

可選地，所述提取所述源圖像與待配準(zhǔn)圖像中的直線段，并對所述直線段進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配直線段，具體包括：

采用LSD直線提取方式提取所述源圖像與待配準(zhǔn)圖像中的直線段；

采用MSLD方式對提取出的直線段進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配直線段。

可選地，所述以所述匹配特征點(diǎn)及所述匹配直線段為約束條件對所述待配準(zhǔn)圖像進(jìn)行變形處理，以使變形處理后的圖像和所述源圖像的匹配特征點(diǎn)的位置一致及匹配直線段的方向一致，具體包括：

對所述待配準(zhǔn)圖像進(jìn)行網(wǎng)格化處理；

以所述匹配特征點(diǎn)及所述匹配直線段為約束條件，建立關(guān)于網(wǎng)格頂點(diǎn)位置的能量方程；

將所述能量方程按照最小化進(jìn)行求解，以獲得與最小化能量方程對應(yīng)的網(wǎng)格的頂點(diǎn)位置；

將待配準(zhǔn)圖像網(wǎng)格與所述與最小化能量方程對應(yīng)的網(wǎng)格進(jìn)行紋理映射，得到變形處理后的圖像。

可選地，所述以所述匹配特征點(diǎn)及所述匹配直線段為約束條件對所述待配準(zhǔn)圖像進(jìn)行變形處理，以使變形處理后的圖像和所述源圖像的匹配特征點(diǎn)的位置一致及匹配直線段的方向一致，進(jìn)一步包括：

以所述匹配特征點(diǎn)、所述匹配直線段、所述待配準(zhǔn)圖像中的直線段及局部圖像為約束條件對所述待配準(zhǔn)圖像進(jìn)行變形處理，以使變形處理后的圖像和所述源圖像的匹配特征點(diǎn)的位置一致及匹配直線段的方向一致，并且所述變形處理后的圖像和所述源圖像中的直線段及局部圖像的形狀一致。

第二方面，本發(fā)明提供一種圖像配準(zhǔn)裝置，所述裝置包括：

特征點(diǎn)匹配單元，用于提取源圖像與待配準(zhǔn)圖像中的特征點(diǎn)，并對所述特征點(diǎn)進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配特征點(diǎn)；

直線段匹配單元，用于提取所述源圖像與待配準(zhǔn)圖像中的直線段，并對所述直線段進(jìn)行匹配，得到所述源圖像與待配準(zhǔn)圖像的匹配直線段；

配準(zhǔn)單元，用于以所述匹配特征點(diǎn)及所述匹配直線段為約束條件對所述待配準(zhǔn)圖像進(jìn)行變形處理，以使變形處理后的圖像和所述源圖像的匹配特征點(diǎn)的位置一致及匹配直線段的方向一致；

配準(zhǔn)后圖像獲取單元，用于將所述變形處理后的圖像作為對所述待配準(zhǔn)圖像進(jìn)行配準(zhǔn)后的圖像。