[發明專利]自動和自適應的三維機器人現場勘測

有效

• 申請號: 201880084279.2
• 申請日: 2018-12-27
• 公開（公告）號: CN111512256B
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 希拉杰·森;史蒂文·羅伯特·格雷;阿皮特·賈殷;譚歡;道格拉斯·福曼;朱迪思·安·古佐
• 申請（專利權）人: 通用電氣公司
• 主分類號: G05D1/02
• 分類號: G05D1/02;G05D1/10
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 王紅艷

一種用于生成資產的三維模型的方法，包括：接收輸入參數，該輸入參數與使無人駕駛交通工具圍繞資產運行的任務計劃的約束相對應；基于包括代表性資產類型的信息的輸入參數來生成任務計劃，其中任務計劃包括航路點，這些航路點標識無人駕駛交通工具的一個或多個圖像傳感器的位置和方向，為無人駕駛交通工具生成飛行路徑，以連接滿足一個或多個預定義標準的航路點，并在執行從一個航路點到下一航路點的飛行路徑期間監控無人駕駛交通工具的交通工具狀態，在每個航路點確定一個或多個圖像傳感器感測到的資產的局部幾何形狀，基于該局部幾何形狀即時改變任務計劃，并沿改變的任務計劃的航路點捕獲資產的圖像。

技術領域

背景技術

本文公開的主題涉及現場勘測，并且更具體地，涉及圍繞工業資產的多感知數據的自主收集，以建立資產及其環境的三維模型。對于機器人，特別是那些在工業環境中運行的機器人，希望具有自動感測和建模其環境的能力。然后，該環境的模型可用于指導其他任務，例如檢查、避障、機器人定位和瞄準。

許多現有的3D重建系統經受一些影響其性能的限制。通常，資產的三維(3D)重建所需的數據是由操作人員手動飛行的無人機或由人員攜帶的傳感系統收集的。請注意，由人員執行數據收集過程的各個方面，可能是一項困難且容易出錯的任務。當計劃的數據收集將花費大量時間、收集可能采取多種途徑、有許多要檢查的關注點、資產和/或周圍環境復雜且動態變化、其他人和/或機器人在該區域同時操作等時，尤其如此。

手動數據收集不保證收集到正確的數據以生成滿足某些關鍵績效指標(KPI)的3D重建，例如確保圖像聚焦、指向資產的正確區域、以及圖像之間有足夠的重疊以建立準確的模型。此外，手動數據收集通常會導致收集大量數據。如上所述，當前可用的系統通常涉及操作人員操作無人機以手動捕獲大量圖像(例如，成千上萬個)，然后將其用于構建資產的3D模型。將整個數據集饋送到重建引擎可能在計算上非常昂貴。此外，未聚焦或沒有足夠重疊的圖像的存在可能導致重建劣化。

因此，期望提供以自動和自適應方式促進三維機器人現場勘測的系統和方法。

發明內容

本文所描述的實施方式基于現有技術，通過提供使無人機器人/車輛基于新信息自主地計劃(例如，給定資產類型)并實時(“即時”)更新/適應其任務的系統和方法來進行改進。

在各個實施方式中，無人航空系統可在最少的人工干預的情況下，自主地收集關于用于構建3D模型的資產的多感知數據。該系統生成任務計劃，該計劃考慮了任務和資產的各種約束(例如，地理圍欄、相機參數、資產尺寸和資產類型)。各種約束被組合以構建任務計劃，該計劃捕獲適當數量的數據以最大化3D重建精度。此外，系統可基于由二維(2D)和三維(3D)相機感測到的資產的局部幾何形狀，自動即時(on-the-fly)重新計劃。

在一些常規方法中，資產的3D重建所需的數據通常由操作人員手動飛行的無人機或由人員攜帶的傳感系統收集。例如，無人機首先手動飛行(例如，由操作人員)或在限定的路徑上飛行以捕獲數據/初始圖像，然后將其用于離線構建資產的3D模型。使用諸如機器學習的離線分析，可在將數據饋送到3D重建引擎之前對其進行清洗。例如，可將操作人員收集的大量圖像修剪為使用感知模型和域模型進行精確3D重建所需的最佳數量的數據樣本(例如，最小的相關集合)。然而，這需要來自操作者的恒定反饋，以確保圖像具有期望的質量并且捕捉到期望的圖像。

傳統方法的局限性之一是構建資產的3D模型是一個計算上昂貴的過程，并且在很大程度上取決于資產的尺寸和類型以及所收集的圖像數量。根據資產的尺寸和無人機的功率限制，模型構建操作可能需要很長時間才能完成，從幾小時到幾天不等(例如，對于典型的大型工業資產)。此外，這些3D重建引擎通常在可并行化的云服務器上運行得更好。但是，許多工業資產都位于難以通過網絡上傳大量信息的區域。結果，傳統系統通?；ㄙM幾天的時間來建立資產的準確模型，然后可將其用于重新生成任務計劃。