[發(fā)明專利]虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710823728.8
• 申請日: 2017-09-13
• 公開（公告）號: CN109483526A
• 公開（公告）日: 2019-03-19
• 發(fā)明（設(shè)計(jì)）人: 王旭
• 申請（專利權(quán)）人: 北京獵戶星空科技有限公司
• 主分類號: B25J9/16
• 分類號: B25J9/16
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤

本發(fā)明公開了一種虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法和系統(tǒng)。其中方法包括：消息處理模塊在主控制器對真實(shí)環(huán)境下的真實(shí)機(jī)械臂進(jìn)行控制的同時(shí)，接收主控制器對真實(shí)機(jī)械臂的第一控制消息；對第一控制消息進(jìn)行封裝以生成適用于虛擬環(huán)境下的虛擬機(jī)械臂的第二控制消息；將第二控制消息發(fā)送至虛擬機(jī)械臂，其中，虛擬機(jī)械臂根據(jù)第二控制消息運(yùn)動至目標(biāo)位置上，并控制虛擬環(huán)境下的虛擬攝像裝置進(jìn)行拍攝；接收虛擬機(jī)械臂和虛擬攝像裝置的第二反饋消息，并將第二反饋消息發(fā)送至主控制器，其中，主控制器在接收第二反饋消息時(shí)，接收真實(shí)機(jī)械臂反饋的第一反饋消息，并根據(jù)第一反饋消息和第二反饋消息進(jìn)行深度學(xué)習(xí)的訓(xùn)練以得到下一步的控制決策。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)領(lǐng)域，尤其涉及一種虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法和控制系統(tǒng)。

背景技術(shù)

在利用機(jī)械臂攜帶攝像頭進(jìn)行數(shù)據(jù)采集時(shí)，需要控制機(jī)械臂的運(yùn)動與停止以實(shí)現(xiàn)在不同位姿下圖像數(shù)據(jù)采集。相關(guān)技術(shù)中，數(shù)據(jù)采集方式主要通過真實(shí)機(jī)械臂進(jìn)行，即，首先通過程序控制機(jī)械臂運(yùn)動到某個特定位置，然后控制攝像頭進(jìn)行拍照和圖片保存，所得到的數(shù)據(jù)用于真實(shí)機(jī)械臂運(yùn)動的深度學(xué)習(xí)；或者，在虛擬環(huán)境下進(jìn)行圖像數(shù)據(jù)采集，方法類似于真實(shí)機(jī)械臂，也是在虛擬環(huán)境下控制機(jī)械臂運(yùn)動到某個位置，然后控制虛擬攝像頭進(jìn)行拍照和圖片保存，所得到的數(shù)據(jù)用于虛擬機(jī)械臂運(yùn)動的深度學(xué)習(xí)。

但是，目前存在的問題是：在真實(shí)條件下由于電機(jī)加速度和機(jī)械振動等因素的限制，機(jī)械臂不能以較高的速度進(jìn)行數(shù)據(jù)采集，而虛擬環(huán)境下獲取的數(shù)據(jù)只能用于虛擬機(jī)械臂運(yùn)動控制的學(xué)習(xí)，在真實(shí)機(jī)械臂下效果較差。因此，相關(guān)技術(shù)需要改進(jìn)。

發(fā)明內(nèi)容

本發(fā)明的目的旨在至少在一定程度上解決上述的技術(shù)問題之一。

為此，本發(fā)明的第一個目的在于提出一種虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法。該方法實(shí)現(xiàn)了真實(shí)機(jī)械臂和虛擬機(jī)械臂的無縫銜接，在保證高速獲取數(shù)據(jù)的同時(shí)，可以使得真實(shí)機(jī)械臂和虛擬機(jī)械臂能夠同步運(yùn)動，并利用真實(shí)機(jī)械臂和虛擬機(jī)械臂的反饋數(shù)據(jù)進(jìn)行混合訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，可以得到適用于真實(shí)和虛擬環(huán)境下的較好的訓(xùn)練效果。

本發(fā)明的第二個目的在于提出一種虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制系統(tǒng)。

為達(dá)到上述目的，本發(fā)明第一方面實(shí)施例提出的虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法，包括：消息處理模塊在主控制器對真實(shí)環(huán)境下的真實(shí)機(jī)械臂進(jìn)行控制的同時(shí)，接收所述主控制器對所述真實(shí)機(jī)械臂的第一控制消息；所述消息處理模塊對所述第一控制消息進(jìn)行封裝以生成適用于虛擬環(huán)境下的虛擬機(jī)械臂的第二控制消息；所述消息處理模塊將所述第二控制消息發(fā)送至所述虛擬機(jī)械臂，其中，所述虛擬機(jī)械臂根據(jù)所述第二控制消息運(yùn)動至目標(biāo)位置上，并控制所述虛擬環(huán)境下的虛擬攝像裝置進(jìn)行拍攝，其中，所述虛擬攝像裝置設(shè)置于所述虛擬機(jī)械臂上；所述消息處理模塊接收所述虛擬機(jī)械臂和虛擬攝像裝置的第二反饋消息，并將所述第二反饋消息發(fā)送至所述主控制器，其中，所述主控制器在接收所述第二反饋消息時(shí)，接收所述真實(shí)機(jī)械臂反饋的第一反饋消息，并根據(jù)所述第一反饋消息和所述第二反饋消息進(jìn)行深度學(xué)習(xí)的訓(xùn)練以得到下一步的控制決策。

根據(jù)本發(fā)明實(shí)施例的虛擬環(huán)境和真實(shí)環(huán)境下機(jī)械臂的控制方法，通過消息處理模塊接收主控制器對真實(shí)機(jī)械臂的第一控制消息，并對該第一控制消息封裝成適用于虛擬環(huán)境下的虛擬機(jī)械臂的第二控制消息，并將該第二控制消息發(fā)送給虛擬機(jī)械臂，以實(shí)現(xiàn)虛擬機(jī)械臂的運(yùn)動控制，其中，主控制器在接收到虛擬機(jī)械臂和真實(shí)機(jī)械臂的反饋信息時(shí)，可根據(jù)兩者的反饋信息進(jìn)行下一步的運(yùn)動決策，所獲取的數(shù)據(jù)和控制方式可以用于深度學(xué)習(xí)訓(xùn)練，實(shí)現(xiàn)了真實(shí)機(jī)械臂和虛擬機(jī)械臂的無縫銜接，在保證高速獲取數(shù)據(jù)的同時(shí)，可以使得真實(shí)機(jī)械臂和虛擬機(jī)械臂能夠同步運(yùn)動，并利用真實(shí)機(jī)械臂和虛擬機(jī)械臂的反饋數(shù)據(jù)進(jìn)行混合訓(xùn)練深度學(xué)習(xí)網(wǎng)絡(luò)，可以得到適用于真實(shí)和虛擬環(huán)境下的較好的訓(xùn)練效果。