[發(fā)明專利]基于純視覺的葉片巡檢方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110584026.5
• 申請(qǐng)日: 2021-05-27
• 公開（公告）號(hào): CN113107788A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計(jì)）人: 賈昭鑫;蘇航
• 申請(qǐng)（專利權(quán)）人: 上海擴(kuò)博智能技術(shù)有限公司
• 主分類號(hào): F03D17/00
• 分類號(hào): F03D17/00;B64C39/02;B64D47/08
• 代理公司: 上海伯瑞杰知識(shí)產(chǎn)權(quán)代理有限公司 31227
• 代理人: 王一琦

本公開涉及視覺檢驗(yàn)技術(shù)領(lǐng)域的一種基于純視覺的葉片巡檢方法，包括如下步驟：獲取目標(biāo)葉片的圖像信息；利用預(yù)先訓(xùn)練好的圖像分割模型獲取圖像信息中目標(biāo)葉片的特征數(shù)據(jù)；驅(qū)使無(wú)人機(jī)沿葉片長(zhǎng)度方向飛行，并利用無(wú)人機(jī)的相機(jī)拍攝、巡檢目標(biāo)葉片，在拍攝過(guò)程中根據(jù)目標(biāo)葉片的特征數(shù)據(jù)實(shí)時(shí)調(diào)控?zé)o人機(jī)的飛行路徑，并通過(guò)實(shí)時(shí)調(diào)節(jié)無(wú)人機(jī)的拍攝云臺(tái)的角度來(lái)調(diào)節(jié)無(wú)人機(jī)的相機(jī)的拍攝端朝向。從而實(shí)現(xiàn)了基于純視覺來(lái)控制無(wú)人機(jī)及其相機(jī)自動(dòng)巡檢風(fēng)機(jī)葉片的目的。

技術(shù)領(lǐng)域

本公開涉及視覺檢驗(yàn)技術(shù)領(lǐng)域，具體來(lái)說(shuō)，是用于檢驗(yàn)風(fēng)機(jī)葉片的視覺檢驗(yàn)方法。

背景技術(shù)

現(xiàn)有技術(shù)中，利用無(wú)人機(jī)對(duì)風(fēng)機(jī)葉片進(jìn)行巡檢時(shí)，為了準(zhǔn)確追蹤葉片，實(shí)現(xiàn)無(wú)人機(jī)的自動(dòng)巡檢，通常需要借助激光雷達(dá)進(jìn)行輔助調(diào)整無(wú)人機(jī)的飛行方向和角度，以此才能保證無(wú)人機(jī)始終處于正確的飛行路線中。

公開內(nèi)容

本公開的目的是提供一種基于純視覺的葉片巡檢方法，實(shí)現(xiàn)了基于純視覺來(lái)控制無(wú)人機(jī)及其相機(jī)自動(dòng)巡檢風(fēng)機(jī)葉片的目的。

本公開的目的是這樣實(shí)現(xiàn)的：一種基于純視覺的葉片巡檢方法，包括如下步驟：

S1、獲取目標(biāo)葉片的圖像信息；

S2、利用預(yù)先訓(xùn)練好的圖像分割模型獲取圖像信息中目標(biāo)葉片的特征數(shù)據(jù)；

S3、基于目標(biāo)葉片的特征數(shù)據(jù)實(shí)時(shí)調(diào)控?zé)o人機(jī)的飛行路徑和攜帶的相機(jī)拍攝角度，以使無(wú)人機(jī)沿葉片的長(zhǎng)度方向飛行，并與葉片之間保持在預(yù)設(shè)距離，且使葉片區(qū)域處于相機(jī)的畫幅中間。

優(yōu)選地，在S2步驟中，所述目標(biāo)葉片的特征數(shù)據(jù)中至少含有葉片的邊緣數(shù)據(jù)，在S3步驟中，利用葉片的邊緣數(shù)據(jù)調(diào)整拍攝云臺(tái)的角度和無(wú)人機(jī)的飛行路徑，以使葉片始終處于相機(jī)畫幅的中間位置。

優(yōu)選地，在拍攝過(guò)程中，葉片圖像占據(jù)整個(gè)拍攝畫幅至少一半以上的區(qū)域。

優(yōu)選地，在拍攝過(guò)程中，為了使葉片始終處于相機(jī)畫幅的中間位置，按照如下流程操作：

根據(jù)獲取的葉片的兩長(zhǎng)邊緣數(shù)據(jù)，在兩長(zhǎng)邊緣線上找出各自的中點(diǎn)；

獲取兩條長(zhǎng)邊緣線中點(diǎn)連線的中間位置；

將上述兩條長(zhǎng)邊緣線中點(diǎn)連線的中間位置與拍攝畫幅的中間位置重合；

其中，上述流程隨無(wú)人機(jī)的位置變化重復(fù)進(jìn)行。

優(yōu)選地，在S2步驟中，所述目標(biāo)葉片的特征數(shù)據(jù)中至少含有葉片的亮度數(shù)據(jù)，S3步驟中，利用葉片的亮度數(shù)據(jù)控制無(wú)人機(jī)的相機(jī)的曝光參數(shù)，以使相機(jī)拍攝的葉片圖像符合預(yù)設(shè)亮度值。

優(yōu)選地，在拍攝過(guò)程中，無(wú)人機(jī)的相機(jī)以預(yù)設(shè)的頻次不斷拍攝葉片，根據(jù)至少一張照片的亮度判斷實(shí)際拍攝的葉片圖像的亮度是否符合設(shè)定的亮度閾值，如過(guò)高或過(guò)低，則將相機(jī)的曝光參數(shù)進(jìn)行適應(yīng)性調(diào)整，使照片的亮度符合設(shè)定的亮度閾值。

優(yōu)選地，在S2步驟中，所述目標(biāo)葉片的特征數(shù)據(jù)中至少含有區(qū)域類別數(shù)據(jù)，所述區(qū)域類別數(shù)據(jù)包括葉尖區(qū)域數(shù)據(jù)、葉根區(qū)域數(shù)據(jù)，以及除葉尖區(qū)域數(shù)據(jù)和葉跟區(qū)域數(shù)據(jù)之外的葉中區(qū)域數(shù)據(jù)；

在S3步驟中，無(wú)人機(jī)的飛行路徑始于葉尖，并終于葉根，并在葉根位置停止拍攝。

優(yōu)選地，在S2步驟中，所述目標(biāo)葉片的特征數(shù)據(jù)中至少含有停機(jī)角度數(shù)據(jù)，所述停機(jī)角度數(shù)據(jù)被定義為在面向風(fēng)機(jī)上的輪轂的風(fēng)輪面時(shí)，位于塔柱右側(cè)的葉片于塔柱之間的夾角；

在S3步驟中，無(wú)人機(jī)按照預(yù)設(shè)的與停機(jī)角度數(shù)據(jù)匹配的路徑進(jìn)行切換。

優(yōu)選地，在拍攝過(guò)程中，調(diào)控?zé)o人機(jī)在巡檢至葉尖和/或葉根處的路徑切換方式和拍攝云臺(tái)的擺動(dòng)角度，以使無(wú)人機(jī)按照預(yù)設(shè)的與停機(jī)角度數(shù)據(jù)匹配的路徑進(jìn)行切換，并使無(wú)人機(jī)的拍攝云臺(tái)按照預(yù)設(shè)的與停機(jī)角度數(shù)據(jù)匹配的擺動(dòng)角度進(jìn)行角度調(diào)整。