[發(fā)明專利]一種應(yīng)用于深海機械臂作業(yè)的視覺引導(dǎo)的方法

在審

• 申請?zhí)枺?/td>: 202011581501.5
• 申請日: 2020-12-28
• 公開（公告）號: CN112509065A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 聶余滿;劉宏偉;王耀雄;湯遠(yuǎn)洋;曹平國;汪洲;高理富;曹會彬;孫玉香;王大慶;周心悅
• 申請（專利權(quán)）人: 中國科學(xué)院合肥物質(zhì)科學(xué)研究院
• 主分類號: G06T7/80
• 分類號: G06T7/80;G06T5/00
• 代理公司: 合肥市長遠(yuǎn)專利代理事務(wù)所(普通合伙) 34119
• 代理人: 劉勇

本發(fā)明提出了一種應(yīng)用于深海機械臂作業(yè)的視覺引導(dǎo)的方法，包括以下步驟：S1、在空氣中使用雙目系統(tǒng)進(jìn)行雙目標(biāo)定，得到相機的內(nèi)外參數(shù)；S2、在機械臂上標(biāo)記固定E個標(biāo)記點，記錄空氣中標(biāo)記點的位置，得到空氣中標(biāo)記點深度信息；S3、拍攝深海水下標(biāo)記點的圖像，記錄標(biāo)記點的位置，得到標(biāo)記點深度信息；S4、校正三維坐標(biāo)計算公式，從而校正折射；S5、拍攝深海水下目標(biāo)物圖像，計算三維坐標(biāo)，實時反饋給機械臂。基于本發(fā)明，可以在未知的深海水下環(huán)境中對海水折射造成的影響進(jìn)行補償，不受海水淡水光照溫度等等環(huán)境因素的限制，提高了測量的精度，節(jié)約了成本，操作簡單，可以引導(dǎo)深海水下機械臂進(jìn)行精準(zhǔn)抓取工作。

技術(shù)領(lǐng)域

本發(fā)明涉及深海水下視覺定位的技術(shù)領(lǐng)域，尤其涉及一種應(yīng)用于深海機械臂作業(yè)的視覺引導(dǎo)的方法。

背景技術(shù)

當(dāng)前，陸地資源不斷減少，環(huán)境惡化、能源短缺等問題凸顯，而海洋蘊含著豐富的礦產(chǎn)、生物和能源，其開發(fā)與利用已成為世界各國的戰(zhàn)略重點。水下智能精確作業(yè)模塊可以完成作業(yè)目標(biāo)自主定位、自主抓取等典型作業(yè)任務(wù)，有效減輕水下人員作業(yè)強度和難度，在海洋研究探測和資源開發(fā)方面具有重要應(yīng)用價值。而視覺探測技術(shù)具有高準(zhǔn)確度高速度等優(yōu)點，具有廣闊的應(yīng)用前景。但是在實際的應(yīng)用中，雙目相機必須封裝，在拍攝時，光線會經(jīng)過水、防水罩、空氣三種介質(zhì)進(jìn)入相機鏡頭，會受到海水折射的影響。

針對水下折射的影響，目前國內(nèi)外研究學(xué)者提出了多種解決方法。Schechner等提出一種通過物理輔助來解決折射問題的方法，該方法通過使用特殊形狀的光學(xué)部件防止折射現(xiàn)象的發(fā)生，但是由于其對光學(xué)部件的制作要求十分嚴(yán)格，難以實現(xiàn)。Chang，Yao-Jen等利用多目相機獲取單一折射平面的圖像，并用一個與深度有關(guān)的模型表示折射失真。但該方法附加條件過多，實現(xiàn)困難。Gedge，Jason等利用像素的對極曲線得到一個匹配代價量來補償折射影響。Treibitz等分析了折射失真并利用模擬的方法近似展示了SVE的折射誤差。Lu J等提出一種利用單目攝像機提取水下圓形目標(biāo)三維信息的方法，該方法通過補償?shù)窒凵溆绊懀贿m合于圓形目標(biāo)。Shortis和Lavest等認(rèn)為可以用鏡頭的高階畸變來等效折射給圖像帶來的影響，據(jù)此提出高次畸變補償法來消除折射給圖像帶來的形變。燕山大學(xué)的張文明等推導(dǎo)了像面和折射面不平行時的水下圖像轉(zhuǎn)換模型，并在此基礎(chǔ)上對水下特征點進(jìn)行了三維信息的恢復(fù)，但受轉(zhuǎn)換條件的限制，對距離視覺系統(tǒng)較近的特征點三維信息的恢復(fù)精度不高。Agrawal等針對單攝像機多介質(zhì)平面折射成像系統(tǒng)進(jìn)行了建模，提出用折射共面約束、共線約束來求解模型參數(shù),即折射平面法向量和光心到折射平面的距離，但其求解過程較為繁瑣。chen等針對水下雙目視覺系統(tǒng)，基于兩攝像機對水下一被測點觀測形成的折射光線必將交于觀測點的條件，提出了利用兩折射光線的共面約束對光心到平面玻璃防水罩的距離進(jìn)行求解，但該方法需要事先知道折射平面的法向量。Yau等提出了一種基于不同光線折射率進(jìn)行水下相機標(biāo)定的方法，但由于該方法所需的水下防水發(fā)光靶標(biāo)造價昂貴且對硬件要求高的因素，應(yīng)用范圍受到了限制。燕山大學(xué)的張文明等應(yīng)用光線追蹤法給出了多介質(zhì)條件下的目標(biāo)精確定位模型，并通過粒子群優(yōu)化得到相應(yīng)的模型參數(shù)，但由于優(yōu)化評價函數(shù)的計算涉及二元四次方程的求解，一般情況下只能用其數(shù)值解近似，增大了系統(tǒng)誤差。

由于海水折射率的不均勻性，上述這些方法雖然可以起到一定的矯正作用，但是并不能很好適應(yīng)海水環(huán)境的變換。

發(fā)明內(nèi)容

為了適用于深海環(huán)境，通過對海水折射進(jìn)行校正，提高了測量精度，為此，本發(fā)明提出了一種應(yīng)用于深海機械臂作業(yè)的視覺引導(dǎo)的方法，具體方案如下：

一種應(yīng)用于深海機械臂作業(yè)的視覺引導(dǎo)的方法，包括以下步驟：

S1、在空氣中使用雙目系統(tǒng)進(jìn)行雙目標(biāo)定，得到相機的內(nèi)外參數(shù)；

S2、在機械臂上標(biāo)記固定E個標(biāo)記點，記錄空氣中標(biāo)記點的位置，得到空氣中標(biāo)記點深度信息；

S3、拍攝深海水下標(biāo)記點的圖像，記錄標(biāo)記點的位置，得到標(biāo)記點深度信息；

S4、校正三維坐標(biāo)計算公式，從而校正折射；