[發(fā)明專利]基于多模態(tài)感覺數(shù)據(jù)遠(yuǎn)程控制機(jī)器人平臺(tái)

在審

• 申請(qǐng)?zhí)枺?/td>: 201710383450.7
• 申請(qǐng)日: 2017-05-26
• 公開（公告）號(hào): CN107491043A
• 公開（公告）日: 2017-12-19
• 發(fā)明（設(shè)計(jì)）人: G·W·波德納爾
• 申請(qǐng)（專利權(quán)）人: 波音公司
• 主分類號(hào): G05B19/418
• 分類號(hào): G05B19/418
• 代理公司: 北京紀(jì)凱知識(shí)產(chǎn)權(quán)代理有限公司11245
• 代理人: 徐東升,趙蓉民

相關(guān)申請(qǐng)的交叉引用

本申請(qǐng)涉及同時(shí)提交的題為“Multi-Tread Vehicles and Methods of Operating Thereof”的美國專利申請(qǐng)(檔案號(hào)16-0017-US-NP_BNGCP081US)和題為“Stereoscopic Camera and Associated Method of Varying a Scale of a Stereoscopic Image Pair”的美國專利申請(qǐng)(檔案號(hào)15-2607-US-NP)，這兩個(gè)專利申請(qǐng)的全部內(nèi)容通過引用并入本文用于所有目的。

技術(shù)領(lǐng)域

本發(fā)明提供用于控制機(jī)器人平臺(tái)的方法和系統(tǒng)，更具體地，根據(jù)一些實(shí)施例提供遠(yuǎn)程設(shè)置在受限空間中并且使用基于多模態(tài)感覺數(shù)據(jù)生成的遠(yuǎn)程和/或本地控制指令進(jìn)行控制的機(jī)器人平臺(tái)。

背景技術(shù)

機(jī)器人平臺(tái)可以部署到對(duì)于直接的人工操作是不理想的各種環(huán)境中。包括機(jī)器人平臺(tái)的遠(yuǎn)程操作的機(jī)器人系統(tǒng)可以被用于在此類環(huán)境中利用來自遠(yuǎn)程定位的操作者的一些輸入來執(zhí)行遠(yuǎn)程操作。然而，操作者對(duì)操作環(huán)境的感知受到系統(tǒng)的感覺保真度水平的限制。為了使此類系統(tǒng)有效，操作者必須在操作環(huán)境中利用足夠且真實(shí)的感覺反饋有效地遠(yuǎn)程呈現(xiàn)。通常，提供給操作者的更高的感覺保真度產(chǎn)生在操作環(huán)境中的更大的存在感和由操作者提供的更有效的操作指令。另一方面，當(dāng)一些感覺體驗(yàn)的缺乏導(dǎo)致有限的態(tài)勢(shì)感知時(shí)，遠(yuǎn)程控制可能非常具有挑戰(zhàn)性。在大多數(shù)常規(guī)的遠(yuǎn)程操作的機(jī)器人系統(tǒng)中，操作者具有關(guān)于實(shí)際操作環(huán)境的有限信息。主要的感覺反饋是視覺的。即使具有復(fù)雜的視覺系統(tǒng)的機(jī)器人平臺(tái)也向其操作者提供有限的信息。人類自然地依靠多種感覺來了解他們的環(huán)境，而不僅僅是視覺。將操作者限制于視覺信息約束了操作者全面了解環(huán)境并提供必要指令的能力。此外，典型的遠(yuǎn)程機(jī)器人系統(tǒng)遭受所謂的“獨(dú)眼視覺”。具體地，此類系統(tǒng)包括不提供雙目立體視覺的單視場(chǎng)攝像機(jī)和顯示器。深度線索對(duì)于理解環(huán)境并在該環(huán)境中執(zhí)行各種操作(諸如操縱任務(wù))至關(guān)重要，并且對(duì)于精細(xì)的操縱任務(wù)更是如此。引進(jìn)的每種變形損害操作者精確工作的能力，并且可能導(dǎo)致長時(shí)間使用的疲勞。

發(fā)明內(nèi)容

本發(fā)明提供用于遠(yuǎn)程控制在不適合直接的人類操作的受限空間或其他類似空間中的機(jī)器人平臺(tái)的方法和系統(tǒng)。使用多模態(tài)感覺數(shù)據(jù)來實(shí)現(xiàn)控制，所述多模態(tài)感覺數(shù)據(jù)包括至少兩種感覺響應(yīng)類型，諸如雙目立體視覺類型、雙耳立體聲音頻類型、力反射觸覺操縱類型、觸覺類型等。多模態(tài)感覺數(shù)據(jù)通過定位在受限空間中的機(jī)器人平臺(tái)獲得并且被傳送到受限空間外部的遠(yuǎn)程控制站，其中多模態(tài)感覺數(shù)據(jù)被用于生成受限空間的表示。多模態(tài)感覺數(shù)據(jù)可以被用于為遠(yuǎn)程控制站的操作者提供多感覺高保真度遠(yuǎn)程呈現(xiàn)并且允許操作者提供更準(zhǔn)確的用戶輸入。該輸入可以被傳送到機(jī)器人平臺(tái)以在受限空間內(nèi)執(zhí)行各種操作。

在一些實(shí)施例中，提供用于基于多模態(tài)感覺數(shù)據(jù)遠(yuǎn)程控制機(jī)器人平臺(tái)的方法。該方法可以包括定位機(jī)器人平臺(tái)，將機(jī)器人平臺(tái)通信地耦連到遠(yuǎn)程控制站，使用機(jī)器人平臺(tái)的兩個(gè)或更多個(gè)傳感器獲得多模態(tài)感覺數(shù)據(jù)，傳送多模態(tài)感覺數(shù)據(jù)的至少一部分，以及在機(jī)器人平臺(tái)處從遠(yuǎn)程控制站接收遠(yuǎn)程控制指令。多模態(tài)感覺數(shù)據(jù)可以包括至少兩種感覺響應(yīng)類型。所述至少兩種感覺響應(yīng)類型可以選自包含雙目立體視覺類型、雙耳立體聲音頻類型、力反射觸覺操縱類型以及觸覺類型的組。在該方法的執(zhí)行期間獲得多模態(tài)感覺數(shù)據(jù)并傳送多模態(tài)感覺數(shù)據(jù)可以被連續(xù)地重復(fù)。該方法可以涉及增加從遠(yuǎn)程控制站接收的遠(yuǎn)程控制指令。在一些實(shí)施例中，結(jié)構(gòu)是飛行器機(jī)翼。

在一些實(shí)施例中，機(jī)器人平臺(tái)被定位在結(jié)構(gòu)的受限空間中。當(dāng)機(jī)器人平臺(tái)被定位在受限空間中時(shí)，可以執(zhí)行傳送多模態(tài)感覺數(shù)據(jù)的至少一部分。

在一些實(shí)施例中，該方法進(jìn)一步包括基于多模態(tài)感覺數(shù)據(jù)在機(jī)器人平臺(tái)處生成本地控制指令。該方法還可以包括基于本地控制指令使用機(jī)器人平臺(tái)在受限空間內(nèi)執(zhí)行一個(gè)或多個(gè)操作。

在一些實(shí)施例中，多模態(tài)感覺數(shù)據(jù)包括至少雙目立體視覺類型、雙耳立體聲音頻類型和力反射觸覺操縱類型。在這些實(shí)施例中，一個(gè)或多個(gè)操作可以包括對(duì)結(jié)構(gòu)的部件鉆孔。

在一些實(shí)施例中，多模態(tài)感覺數(shù)據(jù)可以包括至少雙目立體視覺類型、雙耳立體聲音頻類型、力反射觸覺操縱類型以及觸覺類型。在這些實(shí)施例中，一個(gè)或多個(gè)操作包括將緊固件安裝到結(jié)構(gòu)中。

在一些實(shí)施例中，該方法進(jìn)一步包括在傳送多模態(tài)感覺數(shù)據(jù)的至少一部分之前增加多模態(tài)感覺數(shù)據(jù)。該方法還可以包括選擇多模態(tài)感覺數(shù)據(jù)的至少一部分以用于傳送。