[發(fā)明專(zhuān)利]一種融合視覺(jué)和雷達(dá)系統(tǒng)的海上落水人員識(shí)別及定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310097191.7
• 申請(qǐng)日: 2023-02-10
• 公開(kāi)（公告）號(hào): CN116087982A
• 公開(kāi)（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 任才龍;徐文軍;江佳;欽培健;楊紀(jì)平
• 申請(qǐng)（專(zhuān)利權(quán)）人: 江蘇佼燕船舶設(shè)備有限公司
• 主分類(lèi)號(hào): G01S17/89
• 分類(lèi)號(hào): G01S17/89;G01S17/86;G01S17/06
• 代理公司: 杭州奧創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 33272
• 代理人: 王佳健

本發(fā)明公開(kāi)了一種融合視覺(jué)和雷達(dá)系統(tǒng)的海上落水人員識(shí)別及定位方法，涉及海上救援救助領(lǐng)域。本發(fā)明首先基于視覺(jué)圖像實(shí)現(xiàn)目標(biāo)的檢測(cè)，進(jìn)而得到落水人員的方位信息來(lái)進(jìn)一步確定三維激光雷達(dá)的探測(cè)范圍，然后對(duì)三維激光雷達(dá)原始點(diǎn)云數(shù)據(jù)進(jìn)行預(yù)處理濾波，再利用歐式聚類(lèi)實(shí)現(xiàn)分割，最終將視覺(jué)圖像與點(diǎn)云雷達(dá)圖像進(jìn)行融合實(shí)現(xiàn)區(qū)域匹配，得到落水人員相對(duì)于船體的具體距離，結(jié)合已知的方位信息，抵近展開(kāi)救援。本發(fā)明在利用三維激光雷達(dá)進(jìn)行探測(cè)前先根據(jù)視覺(jué)目標(biāo)檢測(cè)的結(jié)果得到落水人員的方位信息來(lái)進(jìn)一步確定雷達(dá)的探測(cè)角度范圍，使得探測(cè)更有針對(duì)性，提高了對(duì)落水人員識(shí)別定位的高效性。

技術(shù)領(lǐng)域

本發(fā)明涉及海上救援救助領(lǐng)域，尤其涉及一種融合視覺(jué)和雷達(dá)系統(tǒng)的海上落水人員識(shí)別及定位方法。

背景技術(shù)

目前，海上救援主要依賴(lài)于救助艇等在海域內(nèi)開(kāi)展地毯式搜索來(lái)完成，一定程度上極大降低了海上救援的風(fēng)險(xiǎn)。救助艇是用于救助遇險(xiǎn)人員及集結(jié)救生筏，且有良好操縱性的機(jī)動(dòng)小艇。但在海洋這樣復(fù)雜多變的環(huán)境背景下，基于這一類(lèi)的船艇對(duì)落水人員這類(lèi)弱小目標(biāo)實(shí)現(xiàn)及時(shí)的識(shí)別與定位一直是一個(gè)難題。

對(duì)于海上落水人員這類(lèi)目標(biāo)的識(shí)別目前主要是可以通過(guò)一些深度學(xué)習(xí)的模型實(shí)現(xiàn)，但由于數(shù)據(jù)集的限制、場(chǎng)景的特殊性以及目標(biāo)的小尺度特征，尚未能達(dá)到較好的檢測(cè)效果。

在海面這樣多有遮擋變化的場(chǎng)景中，可見(jiàn)光圖像提供的信息是最為豐富的。而目前，利用深度學(xué)習(xí)算法對(duì)可見(jiàn)光圖像進(jìn)行處理，實(shí)現(xiàn)目標(biāo)檢測(cè)是一個(gè)熱門(mén)的研究領(lǐng)域。近年來(lái)相關(guān)算法發(fā)展得十分迅速，準(zhǔn)確率也在不斷提升。因此，將相應(yīng)的目標(biāo)檢測(cè)算法應(yīng)用于海面落水人員這一類(lèi)的弱小目標(biāo)的檢測(cè)識(shí)別是目前最兼具準(zhǔn)確性和實(shí)時(shí)性的方法之一。

另外，對(duì)于落水人員這一類(lèi)目標(biāo)要實(shí)施救援，除了要得到其方位信息，還需要得到其相對(duì)于救援船體的距離信息。

激光雷達(dá)，是以發(fā)射激光束探測(cè)目標(biāo)的位置、速度等特征量的雷達(dá)系統(tǒng)；其工作原理是向目標(biāo)發(fā)射探測(cè)信號(hào)(激光束)，然后將接收到的從目標(biāo)反射回來(lái)的信號(hào)(目標(biāo)回波)與發(fā)射信號(hào)進(jìn)行比較，作適當(dāng)處理后，就可獲得目標(biāo)的有關(guān)信息，如目標(biāo)距離、方位、高度、速度等參數(shù)，從而對(duì)目標(biāo)進(jìn)行探測(cè)、跟蹤和識(shí)別。另外，雷達(dá)還兼具了準(zhǔn)確性與實(shí)時(shí)性，在海面救援這一場(chǎng)景中，能較好地滿(mǎn)足對(duì)于目標(biāo)探測(cè)距離同時(shí)保證實(shí)時(shí)性的需求。

綜上所述，融合視覺(jué)與雷達(dá)系統(tǒng)有望幫助解決海上落水人員的識(shí)別與定位這一難題。在實(shí)際場(chǎng)景中，可以在救助艇等海上救援救助設(shè)備上實(shí)現(xiàn)該算法的應(yīng)用，進(jìn)一步提高救援救助效率。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明主要目的在于提供一種融合視覺(jué)和雷達(dá)系統(tǒng)的海上落水人員識(shí)別及定位方法，以克服現(xiàn)有技術(shù)中的上述缺陷。

本發(fā)明解決技術(shù)問(wèn)題所采取的技術(shù)方案為：

步驟一：采集海面實(shí)時(shí)圖像，進(jìn)行目標(biāo)檢測(cè)，得到第一海面目標(biāo)候選集以及第一坐標(biāo)信息；利用相機(jī)標(biāo)定原理得到落水人員的方位信息；同時(shí)確定三維激光雷達(dá)的搜索范圍θ；

步驟二：獲取三維激光雷達(dá)原始點(diǎn)云數(shù)據(jù)，進(jìn)行預(yù)處理濾波；采用歐式聚類(lèi)算法得到第二海面目標(biāo)候選集以及第二坐標(biāo)信息；

步驟三：利用聯(lián)合標(biāo)定建立第一坐標(biāo)信息和第二坐標(biāo)信息的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)雷達(dá)點(diǎn)云圖像與可見(jiàn)光圖像的融合；

步驟四：候選目標(biāo)區(qū)域匹配，最終得到落水人員的方位與距離信息。

本發(fā)明還提供了一種計(jì)算機(jī)設(shè)備，包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其中，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)上述方法。

本發(fā)明具有以下有益效果：

1.融合視覺(jué)和雷達(dá)系統(tǒng)實(shí)現(xiàn)檢測(cè)，一方面利用深度學(xué)習(xí)模型對(duì)可見(jiàn)光圖像進(jìn)行目標(biāo)檢測(cè)，是目前最為高效與準(zhǔn)確的方法之一；另一方面利用雷達(dá)實(shí)現(xiàn)對(duì)落水人員的距離探測(cè)也是較為精準(zhǔn)的，將兩者結(jié)合實(shí)現(xiàn)識(shí)別與定位的整體方案是高效且可靠的。