[發明專利]基于雙目視覺的掘進機的工作面識別及控制方法及裝置

在審

• 申請號: 202210502665.7
• 申請日: 2022-05-10
• 公開（公告）號: CN114893198A
• 公開（公告）日: 2022-08-12
• 發明（設計）人: 黃明陽;劉洋;劉懿鋒
• 申請（專利權）人: 三一重型裝備有限公司
• 主分類號: E21D9/10
• 分類號: E21D9/10;G06T7/00;G06T7/20;G06T7/70
• 代理公司: 北京中強智尚知識產權代理有限公司 11448
• 代理人: 郭曉迪

1.一種基于雙目視覺的掘進機的工作面識別及控制方法，其特征在于，包括：

根據巷道內的雙目視覺圖像，得到截割面區域和堆料區域分別對應的狀態信息；

根據所述截割面區域和堆料區域分別對應的狀態信息，確定所述掘進機待執行的目標任務、以及所述目標任務對應的目標位置；

根據雙目視覺對所述掘進機的移動追蹤，引導所述掘進機從初始位置移動至所述目標位置，并繪制所述掘進機在此移動過程中的環境地圖信息及移動軌跡；

若所述掘進機移動至所述目標位置，則控制所述掘進機執行目標任務；

若所述掘進機完成所述目標任務，則根據所述環境地圖信息控制所述掘進機從所述目標位置沿所述移動軌跡移動至所述初始位置。

2.根據權利要求1所述的控制方法，其特征在于，所述狀態信息包括、以及所述截割面區域的邊緣成型程度信息、平整程度信息和第一位置信息、以及所述堆料區域的高度信息和第二位置信息，所述根據巷道內的雙目視覺圖像，得到所述截割面區域和堆料區域分別對應的狀態信息，包括：

根據所述巷道內的雙目視覺圖像，獲取工作面的點云信息；

根據所述工作面的點云信息，將所述截割面區域和堆料區域進行分離；

根據所述截割面區域的點云數據，確定所述截割面區域的邊緣成型程度信息、平整程度信息和第一位置信息；

根據所述堆料區域的點云數據，確定所述堆料區域的高度信息和第二位置信息；

所述根據所述截割面區域和堆料區域分別對應的狀態信息，確定所述掘進機待執行的目標任務、以及所述目標任務對應的目標位置，包括：

根據所述截割面區域的邊緣成型程度信息和平整程度信息、以及堆料區域的高度信息，確定所述掘進機待執行的目標任務；所述目標任務包括對所述截割面區域的截割任務和對所述堆料區域的收料任務中的至少一個；

根據所述目標任務對應的第一位置信息和/或第二位置信息，確定所述目標位置。

3.根據權利要求2所述的控制方法，其特征在于，所述根據所述巷道內的雙目視覺圖像，獲取工作面的點云信息，包括：

根據所述巷道內的雙目視覺圖像，獲得所述工作面的稠密視差圖；

對所述稠密視差圖中的各個點云數據的空間坐標進行計算，獲取所述稠密視差圖中的工作面的點云信息；

所述根據所述工作面的點云信息，將所述截割面區域和堆料區域分離，包括：

根據所述稠密視差圖中的工作面的點云信息，計算所述截割面區域的點云信息對應的空間平面，并確定所述截割面區域對應的點云數據；

將距離所述截割面區域對應的空間平面小于閾值的點云數據作為初始點集；

將所述初始點集內的點云數據投影到所述截割面區域對應的空間平面上，得到深度圖；

基于采集到的所述深度圖上的圖標簽數據，訓練語義分割模型；

基于所述語義分割模型，將所述深度圖中的所述截割面區域和所述堆料區域進行分離。

4.根據權利要求3所述的控制方法，其特征在于，所述根據所述截割面區域的點云數據，確定所述截割面區域的邊緣成型程度信息、平整程度信息和第一位置信息，包括：

將所述截割面區域對應的點云數據投影至實際的物理坐標系上，得到所述截割面區域的實際空間點云數據；

根據所述截割面區域的實際空間點云數據，得到所述截割面區域對應的第一位置信息；

所述根據所述堆料區域的點云數據，確定所述堆料區域的高度信息和第二位置信息，包括：

將所述堆料區域對應的點云數據投影至實際的物理坐標系上，得到所述堆料區域的實際空間點云數據；

根據所述堆料區域的實際空間點云數據，得到所述堆料區域對應的第二位置信息。

5.根據權利要求3所述的控制方法，其特征在于，所述根據雙目視覺對所述掘進機的移動追蹤，引導所述掘進機從初始位置移動至所述目標位置，包括：

通過固定在所述掘進機兩側的雙目攝像頭，得到所述截割面區域的實時點云數據；

根據所述堆料區域的實時點云數據，計算所述掘進機與所述截割面區域之間的相對位置，實現對所述掘進機的移動追蹤。