[發(fā)明專利]一種基于連續(xù)視頻的機(jī)器人場景深度判別方法

無效

• 申請?zhí)枺?/td>: 201010137541.0
• 申請日: 2010-04-01
• 公開（公告）號: CN101833759A
• 公開（公告）日: 2010-09-15
• 發(fā)明（設(shè)計）人: 危輝;林祥明
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;盛志范

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器人視覺模擬、圖像匹配技術(shù)領(lǐng)域，具體涉及一種機(jī)器人場景深度判別方法。

背景技術(shù)

人具有感知三維世界的能力。在一場景中，人的左右眼以不同的視點來觀察同一個目標(biāo)，所以在左右眼中所形成的圖像有稍微的差別，而大腦利用這些差別再進(jìn)行信息加工即可估算出目標(biāo)的深度。這就是人感知三維場景中目標(biāo)深度的原理。許多研究者，試圖讓被賦予三維感知能力的機(jī)器能在未知場景中自由地探索，機(jī)器通過建立場景的三維模型或者是場景的深度地圖，來“理解”場景，從而能夠完成被賦予的任務(wù)。

對于場景的三維重建和深度估算，人們提出了各種各樣的方法。例如，[4]通過維護(hù)由單目圖像和對應(yīng)的深度圖組成的訓(xùn)練集，用學(xué)習(xí)的方法來進(jìn)行深度估算；在[5]中，作者把單目線索加入到立體視覺系統(tǒng)中，獲得了更精確的深度估算；[6]提出了一個能從單目圖像上重建平面法向的互動系統(tǒng)。

在這些研究嘗試中，人們以各種各樣的方法來模擬人的視覺系統(tǒng)，有攝像機(jī)、激光、聲納及各種射線等等。其中，

(1)激光和各種射線可以用來測距，對場景進(jìn)行深度估算，能夠達(dá)到很高的精度，并且重量輕功耗小，但是它們只能對場景中某一點或者某一小片的范圍進(jìn)行測距，不能像相機(jī)那樣記錄下整個場景的信息，所以激光測距不適合復(fù)雜場景的深度估算。在[1]中，作者分析了激光的各種性能，也提到了激光對人眼的傷害；因此綜合考慮激光的各種性能，激光更適合于軍事武器的制導(dǎo)作用等軍用[2]。

(2)聲納技術(shù)由于其成本高、體積重量大、能耗大，很難被用于小型測距探測系統(tǒng)，而由于其在水中傳播的穩(wěn)定性，故常常用于水下通信和導(dǎo)航、以及魚雷制導(dǎo)、水雷引信等領(lǐng)域[3]。

最常用就是攝像機(jī)(或者照相機(jī))，這是因為相機(jī)的成像原理與人眼的成像原理是類似的。廣義的攝像機(jī)包括了多目視覺系統(tǒng)和單目視覺系統(tǒng)。毫無疑問，如果多目視覺系統(tǒng)具有三維感知能力，那么這并不難理解，因為人眼就是一個雙目視覺系統(tǒng)。但是單目視覺系統(tǒng)也可以具有三維感知能力。當(dāng)人只睜開一只眼睛時，他依然具有能力感知到三維世界的深度信息，這很大程度上歸咎于他腦中的大量視覺經(jīng)驗；依據(jù)類似的原理，被加上視覺經(jīng)驗的單目視覺系統(tǒng)也可以具有三維感知能力。除此之外，一個處于“運動”狀態(tài)的單目視覺系統(tǒng)同樣具備三維感知能力。當(dāng)一單目系統(tǒng)在一位置獲得場景的圖像后，再移動到另一位置獲得場景的令一張圖像，利用這兩張圖像的差別以及相關(guān)原理，可以計算出場景的三維模型或深度信息。這就是本發(fā)明提出的一個新方法。

另外，在圖像處理中，不得不涉及的一個技術(shù)就是圖像上點的匹配，傳統(tǒng)的方法只利用了單個待匹配點的光強(qiáng)，在某范圍內(nèi)來搜索與之光強(qiáng)接近的匹配點，這種方法雖然計算量少，但準(zhǔn)確率和穩(wěn)定性極低；本發(fā)明中的一個新的匹配方法突破了傳統(tǒng)，它考慮的是某個區(qū)域的光強(qiáng)值組成的矩陣，來搜索與光強(qiáng)矩陣“接近”的匹配區(qū)域，只要把區(qū)域的大小設(shè)置成合適的值，可以做到計算量不大，準(zhǔn)確率和穩(wěn)定性極高的效果。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出一種計算量小，準(zhǔn)確率高，穩(wěn)定性好的機(jī)器人場景深度判別方法。

本發(fā)明提出的機(jī)器人場景深度判別方法，具體步驟如下：

1)在一未知場景中，裝備上單目視覺系統(tǒng)的機(jī)器人通過拍照獲得關(guān)于場景的一張照片P1，再向前移動適當(dāng)?shù)木嚯x，設(shè)長度為S，再拍照獲得關(guān)于場景的另一種照片P2。由于向前移動的誤差，照片P1和照片P2的相片中心點不是同一個目標(biāo)點，即相片中心點存在誤差，在后面的深度估算中這個誤差信息是要被用到的。

2)對照片P2進(jìn)行角點檢測，對于照片P2上的每一個角點A2，利用本發(fā)明提出的關(guān)于單目機(jī)器人時間鄰近幀圖像的匹配方法進(jìn)行匹配，從而在照片P1上找出A2的匹配點A1。所述的匹配利用待匹配點所在的一塊合適大小的區(qū)域的光強(qiáng)度矩陣，尋找與該光強(qiáng)接近的另一塊同樣大小的區(qū)域，新區(qū)域的中心點即為匹配點，經(jīng)過實驗驗證，此方法穩(wěn)定好、準(zhǔn)確率高；

3)利用本發(fā)明請?zhí)岢龅膯文繖C(jī)器人連續(xù)移動使用前后幀圖像的深度計算方法，計算出場景中每一個角點對應(yīng)的目標(biāo)的深度，從而形成一個深度地圖。

在此深度估算的過程中，無需知道相機(jī)的任何參數(shù)。其中，移動的距離S一般為10～200cm。

本發(fā)明的計算步驟見圖8所示。

上述方法中，涉及到單目機(jī)器人坐標(biāo)體系設(shè)定，具體內(nèi)容如下：

1.通過把相機(jī)成像原理近似成點透視投影，建立起相機(jī)成像的三維坐標(biāo)系；

2.并用數(shù)學(xué)公式表示出像點和原像點間的關(guān)系。