[發(fā)明專利]一種PTAM攝像機(jī)跟蹤方法及裝置

有效

• 申請?zhí)枺?/td>: 201511023879.2
• 申請日: 2015-12-31
• 公開（公告）號: CN105513083B
• 公開（公告）日: 2019-02-22
• 發(fā)明（設(shè)計(jì)）人: 劉潔
• 申請（專利權(quán)）人: 新浪網(wǎng)技術(shù)（中國）有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京卓嵐智財(cái)知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11624
• 代理人: 任漱晨

本發(fā)明實(shí)施例提供一種PTAM攝像機(jī)跟蹤方法及裝置，所述方法包括：根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)；根據(jù)所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)，將真實(shí)場景中已知位置的三維特征點(diǎn)投影到所述攝像機(jī)的圖像平面上，通過改進(jìn)的獨(dú)立二元魯棒初級特征I?BRIEF算法進(jìn)行特征點(diǎn)匹配，計(jì)算所述攝像機(jī)在當(dāng)前圖像幀的實(shí)際姿態(tài)；利用所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)和實(shí)際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果；利用所述匹配結(jié)果進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像機(jī)的圖像跟蹤。其可以提高攝像機(jī)系統(tǒng)在攝像機(jī)快速運(yùn)動和光照變化下的跟蹤能力，具有更高的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及攝像機(jī)跟蹤與制圖技術(shù)領(lǐng)域，尤其涉及一種PTAM(Parallel trackingand mapping，并行式跟蹤與制圖)攝像機(jī)跟蹤方法及裝置。

背景技術(shù)

SLAM(Simultaneous Localization and Mapping)，也稱同步定位與制圖技術(shù)，最早由Smith、Self和Cheeseman于1988年提出。由于其重要的理論與應(yīng)用價(jià)值，被很多學(xué)者認(rèn)為是實(shí)現(xiàn)真正全自主移動機(jī)器人的關(guān)鍵。SLAM問題可以描述為：機(jī)器人在未知環(huán)境中從一個(gè)未知位置開始移動，在移動過程中根據(jù)位置估計(jì)和地圖進(jìn)行自身定位，同時(shí)在自身定位的基礎(chǔ)上建造增量式地圖，實(shí)現(xiàn)機(jī)器人的自主定位和導(dǎo)航。

在SLAM框架中，有兩個(gè)核心步驟，一個(gè)是根據(jù)場景的結(jié)構(gòu)信息求取攝像機(jī)姿態(tài)，另一個(gè)是根據(jù)求取的攝像機(jī)姿態(tài)來重建場景的三維結(jié)構(gòu)。我們將第一個(gè)步驟稱為跟蹤，將第二個(gè)步驟稱為制圖。在SLAM框架中，跟蹤和制圖的任務(wù)是交替進(jìn)行的，跟蹤依賴于制圖得到的場景結(jié)構(gòu)信息，而制圖反過來又依賴于跟蹤求取的攝像機(jī)姿態(tài)。

盡管在機(jī)器人領(lǐng)域SLAM方法已被研究多年，但直到2003年才由Andrew Davison引入到計(jì)算機(jī)視覺領(lǐng)域，實(shí)現(xiàn)了第一個(gè)實(shí)時(shí)的基于視覺的SLAM系統(tǒng)。從此，SLAM方法在攝像機(jī)姿態(tài)估計(jì)領(lǐng)域被廣泛的研究和采用。并行式跟蹤與制圖(Parallel tracking andmapping，PTAM)技術(shù)將攝像機(jī)跟蹤分為跟蹤和制圖兩個(gè)獨(dú)立的任務(wù)，在兩個(gè)獨(dú)立的線程上分別運(yùn)行，這樣可以在不影響攝像機(jī)跟蹤實(shí)時(shí)性的條件下，將低時(shí)間效率、高精確性的運(yùn)動求取結(jié)構(gòu)(Structure From Motion，SFM)技術(shù)引入到制圖的任務(wù)中，并且通過捆集調(diào)整方法優(yōu)化恢復(fù)的場景結(jié)構(gòu)信息，這大幅度提高了攝像機(jī)跟蹤算法的魯棒性和精確性，同時(shí)減輕了系統(tǒng)運(yùn)行時(shí)每幀圖像的處理時(shí)間。在PTAM的攝像機(jī)跟蹤線程中，特征點(diǎn)匹配搜索是攝像機(jī)姿態(tài)估計(jì)的重要環(huán)節(jié)，在PTAM技術(shù)的實(shí)現(xiàn)中，系統(tǒng)采用基于像素差平方和(SSD，Sum ofSquared Differences)描述方法的匹配進(jìn)行特征點(diǎn)匹配，但是我們發(fā)現(xiàn)在攝像機(jī)快速運(yùn)動或者光照變化情況下，該方法變得不可靠。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種PTAM攝像機(jī)跟蹤方法及裝置，以提高攝像機(jī)系統(tǒng)在攝像機(jī)快速運(yùn)動和光照變化下的跟蹤能力。

一方面，本發(fā)明實(shí)施例提供了一種并行式跟蹤與制圖PTAM攝像機(jī)跟蹤方法，所述方法包括：

根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)；

根據(jù)所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)，將真實(shí)場景中已知位置的三維特征點(diǎn)投影到所述攝像機(jī)的圖像平面上，通過改進(jìn)的獨(dú)立二元魯棒初級特征I-BRIEF算法進(jìn)行特征點(diǎn)匹配，計(jì)算所述攝像機(jī)在當(dāng)前圖像幀的實(shí)際姿態(tài)；

利用所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)和實(shí)際姿態(tài)進(jìn)行匹配，獲取匹配結(jié)果；

利用所述匹配結(jié)果進(jìn)行所述攝像機(jī)的姿態(tài)調(diào)整，以進(jìn)行所述攝像機(jī)的圖像跟蹤。

另一方面，本發(fā)明實(shí)施例提供了一種并行式跟蹤與制圖PTAM攝像機(jī)跟蹤裝置，所述裝置包括：

估計(jì)姿態(tài)獲取單元，用于根據(jù)攝像機(jī)輸入的圖像信息，獲取所述攝像機(jī)在當(dāng)前圖像幀的估計(jì)姿態(tài)；