[發(fā)明專利]作業(yè)機(jī)械的姿態(tài)估計(jì)方法、裝置及作業(yè)機(jī)械

在審

• 申請?zhí)枺?/td>: 202111189288.8
• 申請日: 2021-10-12
• 公開（公告）號(hào): CN113989367A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計(jì)）人: 王杏;黃勝;奉柳
• 申請（專利權(quán)）人: 三一重機(jī)有限公司
• 主分類號(hào): G06T7/73
• 分類號(hào): G06T7/73;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 李文清

本發(fā)明提供一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法、裝置及作業(yè)機(jī)械，該姿態(tài)估計(jì)方法包括：獲取作業(yè)機(jī)械執(zhí)行機(jī)構(gòu)的目標(biāo)圖像；將目標(biāo)圖像輸入至位姿測量模型，獲得位姿測量模型輸出的執(zhí)行機(jī)構(gòu)的位姿信息；其中，位姿測量模型為機(jī)器學(xué)習(xí)模型，機(jī)器學(xué)習(xí)模型的參數(shù)以由執(zhí)行機(jī)構(gòu)的測試圖像及與測試圖像對應(yīng)的通過傳感器獲取的測試位姿信息為樣本，學(xué)習(xí)訓(xùn)練得到。該方法通過利用位姿測量模型處理目標(biāo)圖像，得到執(zhí)行機(jī)構(gòu)位姿信息，位姿測量模型中測試位姿信息由傳感器測量自動(dòng)標(biāo)記，不需手工標(biāo)記，位姿測量模型輸出的位姿信息準(zhǔn)確，有助于作業(yè)機(jī)械更加準(zhǔn)確地實(shí)現(xiàn)自動(dòng)化作業(yè)。

技術(shù)領(lǐng)域

本發(fā)明涉及作業(yè)機(jī)械技術(shù)領(lǐng)域，尤其涉及一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法、裝置及作業(yè)機(jī)械。

背景技術(shù)

隨著科技的發(fā)展，作業(yè)機(jī)械的作業(yè)方式逐漸從手動(dòng)作業(yè)轉(zhuǎn)變?yōu)榱俗詣?dòng)化作業(yè)，自動(dòng)化作業(yè)是指作業(yè)機(jī)械在無人干預(yù)的情況下按預(yù)定的程序或指令自動(dòng)進(jìn)行操作或控制作業(yè)的過程。

實(shí)現(xiàn)作業(yè)機(jī)械的自動(dòng)化作業(yè)，需要對作業(yè)機(jī)械上執(zhí)行機(jī)構(gòu)的位姿信息進(jìn)行測量，執(zhí)行機(jī)構(gòu)的位姿信息對作業(yè)機(jī)械的自動(dòng)化作業(yè)起著至關(guān)重要的作用。

相關(guān)技術(shù)，作業(yè)機(jī)械的位姿估計(jì)通過獲取執(zhí)行機(jī)構(gòu)的圖像后進(jìn)行手動(dòng)標(biāo)注，人工標(biāo)注工作量巨大，且人工標(biāo)注的誤差難以保證，位姿信息屬于估計(jì)的結(jié)果，準(zhǔn)確性較低，影響位姿估計(jì)模型訓(xùn)練結(jié)果。

相關(guān)技術(shù)，還出現(xiàn)了一些采用視覺測量進(jìn)行位姿估計(jì)的技術(shù)，通過在執(zhí)行機(jī)構(gòu)上粘貼具有明顯圖像鞍點(diǎn)特征的標(biāo)記特征點(diǎn)，通過圖像中標(biāo)記特征點(diǎn)之間的連線傾角得出執(zhí)行機(jī)構(gòu)的姿態(tài)，該類技術(shù)不僅對相機(jī)的標(biāo)定十分苛刻，計(jì)算的位姿信息準(zhǔn)確度較低，且該類技術(shù)在不同機(jī)器中計(jì)算得到的位姿信息誤差較大。

發(fā)明內(nèi)容

本發(fā)明提供一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法、裝置及作業(yè)機(jī)械，用以解決現(xiàn)有技術(shù)中作業(yè)機(jī)械執(zhí)行機(jī)構(gòu)的位姿信息獲取過程存在的缺陷。

本發(fā)明提供一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，包括：

獲取作業(yè)機(jī)械執(zhí)行機(jī)構(gòu)的目標(biāo)圖像；

將所述目標(biāo)圖像輸入至位姿測量模型，獲得所述位姿測量模型輸出的所述執(zhí)行機(jī)構(gòu)的位姿信息；

其中，所述位姿測量模型為機(jī)器學(xué)習(xí)模型，所述機(jī)器學(xué)習(xí)模型的參數(shù)以由所述執(zhí)行機(jī)構(gòu)的測試圖像及與所述測試圖像對應(yīng)的通過傳感器獲取的測試位姿信息為樣本，學(xué)習(xí)訓(xùn)練得到。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，所述位姿測量模型通過如下步驟確定：

獲取所述執(zhí)行機(jī)構(gòu)的測試圖像和與所述測試圖像對應(yīng)的測試位姿信息；

基于所述測試圖像和所述測試位姿信息，確定訓(xùn)練樣本集；

建立深度卷積神經(jīng)網(wǎng)絡(luò)模型，通過所述訓(xùn)練樣本集訓(xùn)練所述深度卷積神經(jīng)網(wǎng)絡(luò)模型的參數(shù)，得到所述位姿測量模型；

其中，所述測試位姿信息由所述傳感器對所述執(zhí)行機(jī)構(gòu)檢測獲得。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，

所述基于所述測試圖像和所述測試位姿信息，確定訓(xùn)練樣本集，包括：

將所述測試圖像與相同時(shí)刻采集的所述測試位姿信息對齊，構(gòu)成一組標(biāo)記數(shù)據(jù)，由多組不同時(shí)刻的所述標(biāo)記數(shù)據(jù)構(gòu)成所述訓(xùn)練樣本集。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，所述目標(biāo)圖像與所述測試圖像的拍攝位置與拍攝姿態(tài)均相同。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，所述目標(biāo)圖像與所述測試圖像的類型相同，為：工作裝置圖像、回轉(zhuǎn)裝置圖像或行走裝置圖像，所述工作裝置圖像包括動(dòng)臂圖像、斗桿圖像、鏟斗圖像中的至少一種。

根據(jù)本發(fā)明提供的一種作業(yè)機(jī)械的姿態(tài)估計(jì)方法，所述測試位姿信息由傾角傳感器或位移傳感器對所述執(zhí)行機(jī)構(gòu)檢測獲得。