[發(fā)明專利]用于交互式認(rèn)知任務(wù)協(xié)助的系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 201711210508.4
• 申請日: 2017-11-28
• 公開（公告）號: CN108228345B
• 公開（公告）日: 2023-06-02
• 發(fā)明（設(shè)計(jì)）人: W·J·伍德;M·H·博伊德;M·K·洛朗熱;D·H·硞蘇達(dá)
• 申請（專利權(quán)）人: 波音公司
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06Q10/20
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 趙志剛;趙蓉民

本申請公開了用于交互式認(rèn)知任務(wù)協(xié)助的系統(tǒng)和方法。公開了一種允許維護(hù)者使用自然語言與應(yīng)用程序?qū)υ挼恼J(rèn)知助手。所述維護(hù)者可以快速地與應(yīng)用程序進(jìn)行免手動交互，而無需使用復(fù)雜的用戶界面或所記憶的語音命令。所述助手使用增強(qiáng)現(xiàn)實(shí)音頻和視覺提示向維護(hù)者提供指令。所述助手向維護(hù)者仔細(xì)解釋維護(hù)任務(wù)并且使用IoT傳感器驗(yàn)證適當(dāng)執(zhí)行。如果在完成步驟之后，所述loT傳感器并非預(yù)期的那樣，那么通知維護(hù)者如何解決所述情況。

技術(shù)領(lǐng)域

本發(fā)明涉及用于生產(chǎn)和維護(hù)物理結(jié)構(gòu)的系統(tǒng)和方法，且確切地說涉及一種用于向用戶提供指導(dǎo)以對物理結(jié)構(gòu)執(zhí)行任務(wù)的系統(tǒng)和方法。

背景技術(shù)

傳統(tǒng)的維護(hù)活動使用用戶(維護(hù)者)參照的紙質(zhì)維護(hù)手冊來查找適當(dāng)?shù)木S護(hù)任務(wù)，并遵循這些任務(wù)的每個步驟。因此，維護(hù)者必須查找紙質(zhì)維護(hù)手冊，找到與期望維護(hù)任務(wù)有關(guān)的手冊適當(dāng)部分，確定需要哪些工具和其它資源(通常位于其它位置)，并獲得這些工具和資源。然后，維護(hù)者必須針對每個步驟參照紙質(zhì)維護(hù)手冊，執(zhí)行步驟，然后重新參照紙質(zhì)維護(hù)手冊以確定下一步。維護(hù)者必須不斷地停止工作來參照每個步驟的手冊指令，從而延長了執(zhí)行任務(wù)所需的時間，并增加維護(hù)者出現(xiàn)錯誤的機(jī)會。總之，紙質(zhì)維護(hù)手冊必須被存儲和檢索，搜索和查詢較為不易，并且需要維護(hù)者在維護(hù)任務(wù)與相關(guān)手冊之間切換，這使得維護(hù)過程減慢。

雖然存在數(shù)字維護(hù)手冊并且通過使其便攜和可搜索緩解了這些缺點(diǎn)中的一些，但是維護(hù)者仍然必須騰出手與數(shù)字維護(hù)手冊進(jìn)行交互。數(shù)字維護(hù)手冊可以包括視頻，但是這樣的視頻通常不是比維護(hù)者執(zhí)行步驟的能力更快就是更慢，因此維護(hù)者必須不斷地啟動和重啟(或倒回)視頻的播放。

可使用改進(jìn)這樣的數(shù)字維護(hù)手冊的系統(tǒng)。例如，增強(qiáng)現(xiàn)實(shí)已經(jīng)用于使用增強(qiáng)現(xiàn)實(shí)眼鏡來指導(dǎo)維護(hù)者執(zhí)行維護(hù)步驟。德國寶馬汽車公司(Bavarian?Motor?Works)已經(jīng)提出了一種這樣的系統(tǒng)，如由Victoria?Woollaston于2014年1月21日在《每日郵報(bào)(Daily?Mail)》上發(fā)表的《機(jī)修工的末日？BMW智能眼鏡使任何人僅通過查看就能定位和修理汽車引擎故障成為可能(End?of?the?Mechanic？BMW?Smart?Glasses?Make?it?Possible?for?Anyone?toSpot?and?Fix?a?Car?Engine?Fault?Just?by?Looking?at?It)》(以引用方式并入本文)中所描述。哥倫比亞大學(xué)計(jì)算機(jī)圖形與用戶界面實(shí)驗(yàn)室(Columbia?University?ComputerGraphics?and?User?Interfaces?Lab)的Steve?Henderson和Steven?Feiner在2016年公布的《增強(qiáng)現(xiàn)實(shí)用于維護(hù)和維修(Augmented?Reality?for?Maintenance?and?Repair(ARMAR))》(也以引用方式并入本文)中描述了類似系統(tǒng)的示例。這公開了使用疊加并注冊到實(shí)際修復(fù)設(shè)備上的實(shí)時計(jì)算機(jī)圖形，通過使用頭戴式運(yùn)動跟蹤顯示器提高維護(hù)人員的生產(chǎn)率、準(zhǔn)確性和安全性，以信息，例如子部件標(biāo)簽、指導(dǎo)維護(hù)步驟、實(shí)時診斷數(shù)據(jù)和安全警告，增強(qiáng)用戶對系統(tǒng)的物理視角。這樣的系統(tǒng)可以使用智能頭盔，例如可向DAQRI購買的那些，Brian?Barrett于2016年1月7日在《連線(wired)》上發(fā)表的《Daqri智能頭盔(DaqriSmart?Helmet)》(也以引用方式并入本文)中有描述。

很遺憾，這樣的現(xiàn)有系統(tǒng)不能解決許多維護(hù)問題。例如，用戶與BMW系統(tǒng)進(jìn)行的交互涉及局限于維護(hù)者提供例如“下一步”等口頭命令的語音交互。所述系統(tǒng)既不能使用來自用戶的普通語言請求來確定要執(zhí)行的任務(wù)，也不能確定所述任務(wù)的步驟。因此，對于給定的問題，維護(hù)者仍須確定要執(zhí)行哪項(xiàng)任務(wù)(例如，沒有診斷，也沒有允許用戶以普通語言實(shí)現(xiàn)找到適當(dāng)任務(wù)或任務(wù)步驟的目標(biāo)的任何特征)。在這一方面，ARMAR和DAQRI系統(tǒng)具有類似缺陷。

上述系統(tǒng)也不能監(jiān)視步驟的執(zhí)行(以提供反饋，所述反饋確認(rèn)步驟已被適當(dāng)執(zhí)行或指示沒有適當(dāng)執(zhí)行并提供糾正動作)或提供記錄步驟執(zhí)行的數(shù)據(jù)。例如，要執(zhí)行的步驟可以是以特定轉(zhuǎn)矩將螺母擰緊至螺栓。