[發明專利]多層查看系統和方法

在審

• 申請號: 201880069881.9
• 申請日: 2018-10-25
• 公開（公告）號: CN111417916A
• 公開（公告）日: 2020-07-14
• 發明（設計）人: S·烏爾曼;D·哈拉里;L·阿西夫;I·科夫曼
• 申請（專利權）人: 耶達研究及發展有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01;G02B27/01;G06F40/169;G06K9/00;G06T19/00;G06K9/62
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 李隆濤

多層查看系統包括靜止成像儀和光束投射器，用于將物理層標記投射到物體的區域上。頭戴件包括增強現實顯示器，其足夠透明以使佩戴頭戴件的用戶能夠通過顯示器直接查看所述物體，并顯示疊加在所述物體上的注釋。處理器被配置為接收相對于目標的選定位置以顯示所述注釋，通過識別獲取的圖像中的標記或物體上的標記的圖像確定增強現實顯示器的方向，計算用于在增強現實顯示器上顯示注釋的顯示位置，使得注釋可以被用戶感知為顯示在選定定位，并且在計算出的顯示位置處顯示所述注釋。

技術領域

本發明涉及多層查看系統和方法

背景技術

復雜設備或機械的維護、組裝、服務或操作通常需要兩個人工操作員之間的協作：位于“現場”的本地操作員，也就是說，物理上位于設備附近并且可以手動操縱設備的零件，以及可位于遠程地點而無法直接與設備進行交互的遠程操作員。兩名操作員可能具有不同的專業知識水平，例如機器或設備件的操作員，或與專家(例如在遠程地點)一起工作的在客戶現場維修設備的本地技術人員，該專家幫助、指導、監督和/或批準操作。或者，兩個操作員可以具有相同的專業知識水平(可能在專業知識的互補領域)，針對設備中的復雜問題執行聯合故障排除會話(或頭腦風暴)。

例如，技術人員(或現場操作員)可能會維修故障已停止產生的機械。技術人員可以嘗試進行故障排除和維修程序，但可能需要來自位于遠程呼叫中心的技術專家協助。在另一個實例中，本地技術人員可能需要執行需要高級人員批準的復雜維修。在獲得此類批準之前，可能需要當地技術人員向例如遠程監督員演示故障。在又一個實例中，新手操作員可能需要位于不同地點的經驗豐富的操作員的遠程指導。

目前，可以通過圖像和視頻進行通信來進行此類聯合維護和修理。通信可以使參與者共享信息，例如設備視圖、輔助材料(例如圖表和說明)以及口頭交流解釋和指導。例如，現場操作員可以將設備圖像發送給遠程專家。遠程專家可以向本地操作員提供口頭指導和建議，其可以輔以例如圖解說明和照片等支持性材料。如果本地操作員和遠程專家之間在語言或文化上存在差異，則這種指導可能既耗時又困難。另外，人機工程學或其他約束條件，例如視頻、音頻或指示設備的處理，不良照明、噪聲或其他因素等環境因素，可能會增加此過程的難度。

在這種聯合維護、修理或操作期間，使遠程參與者能夠使用設備的在線遠程顯示視頻在設備上標記定位通常非常有用，而本地參與者可以查看覆蓋在設備上的該標記。例如，遠程專家可以標記特定目標(例如，旋鈕、螺釘、開關、電線或期望部件)，并指示現場參與者或操作員對目標執行特定操作(例如，轉動旋鈕、打開螺釘、操作開關、連接或斷開電線或其他操作)?，F場參與者可以使用增強現實(AR)顯示器(例如，AR眼鏡或其他透視式AR顯示器)，而遠程專家使用來自現場攝像頭(例如，其安裝在AR護目鏡上)的視頻產生標記以指定設備上的特定位置。然后，增強現實系統將在AR顯示器上向現場操作員顯示標記的圖像，以使標記覆蓋在“現實世界”目標上。例如，遠程專家可以標記旋鈕，該旋鈕是設備的一部分，并且將在特定方向上旋轉。使用AR系統，現場技術人員可以在顯示器上看到覆蓋或指向所討論的旋鈕的標記，可能帶有要執行的操作的一些描述，例如旋鈕的旋轉方向。

AR的這種使用可能需要在AR層顯示器上顯示的標記與實際目標設備的定位之間精確對齊。遠程專家產生的標記在現場操作人員看來應該覆蓋目標設備，并且可以預期高精度地指向目標。即使輕微的未對準也會導致在設備的錯誤部分上執行操作。在AR系統中，以高精度獲得這種對準需要復雜的過程，該過程通常考慮到AR顯示器相對于設備的精確位置，以及AR顯示器相對于用戶的眼睛和/或瞳孔的相對位置。這樣精確對準可能需要復雜的校準程序，和對準的精度可隨時間下降。

發明內容