[發明專利]基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法

有效

• 申請號: 202010115606.5
• 申請日: 2020-02-25
• 公開（公告）號: CN111368664B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 李學飛;陳冠龍;陸錦雄;李英男;畢秋實;姚宗偉
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06T7/62;E02F3/28;E02F3/34;E02F3/40
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 劉程程

1.基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，其特征在于：

具體過程如下：

步驟一：獲得鏟斗在空斗狀態下的輪廓圖像模型信息和鏟斗工作裝置在空斗狀態下的結構信息；

步驟二：獲得鏟斗在滿斗狀態下的輪廓圖像模型信息和鏟斗工作裝置在滿斗狀態下的結構信息；

步驟三：在滿斗狀態下的裝載機處于不同角度狀態下，重復上述步驟二，獲得裝載機在不同角度下的三組滿斗外輪廓圖像的三維點云，與此同時，在裝載機的不同角度下獲取相應的鏟斗工作裝置在滿斗狀態下的結構信息；

步驟四：獲取完整的滿斗外輪廓圖像信息，并計算轉換矩陣；

步驟五：采用迭代最近點算法，將轉換矩陣作為初始轉換矩陣，對空斗三維模型點集和滿斗三維模型點集進行點集配準，將空斗三維模型點集與滿斗三維模型點集合并；

步驟六：對已合并的空斗三維模型點集與滿斗三維模型點集進行表面插值，以獲得包括鏟斗內表面與鏟斗內物料的上表面在內的兩個表面數據信息；

步驟七：將鏟斗內表面與鏟斗內物料的上表面的兩個表面上分別相對應地劃分尺寸均勻的正方形網格，將每個正方形網格的面積乘以鏟斗內表面與鏟斗內物料的上表面上相應的正方形之間的距離，獲得單個正方形網格對應的空間體積，然后將所有正方形網格對應的空間體積相加，獲得鏟斗內表面與鏟斗內物料的上表面之間的體積，即獲得鏟斗內物料的體積，最后用鏟斗內物料體積除以鏟斗的額定容積，即得到裝載機滿斗率。

2.如權利要求1所述基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，其特征在于：

所述鏟斗在空斗狀態下的外輪廓圖像模型信息的獲取過程具體如下：

A1：空斗輪廓圖像采集；

通過雙目立體相機對處于空斗狀態下的鏟斗的輪廓圖像進行采集；

A2：空斗輪廓圖像雙目校正；

對雙目立體相機采集到的空斗狀態下的鏟斗的輪廓圖像進行雙目校正，以使空斗狀態下鏟斗的輪廓上的同一特征點位于雙目立體相機左右鏡頭采集到的兩張圖像水平方向上的同一直線上；

A3：空斗輪廓圖像立體匹配；

對雙目校正后的兩張圖片采用計算機雙目視覺中的半全局匹配算法進行立體匹配，以獲取視差圖；

A4：三維重建空斗輪廓圖像；

根據獲取到的視差圖，通過幾何關系計算得到視差圖上每個像素點的深度值，并利用相機內參計算出三維坐標，從而生成一組空斗三維模型點集；

獲取鏟斗工作裝置在空斗狀態下的結構信息的具體過程如下：

通過位移傳感器甲采集動臂油缸的伸縮量，通過位移傳感器乙采集轉斗油缸的伸縮量，進而確定鏟斗工作裝置在空斗狀態下的結構信息。

3.如權利要求1所述基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，其特征在于：

所述鏟斗在滿斗狀態下的輪廓圖像模型信息的獲取過程具體如下：

B1：滿斗外輪廓圖像采集；

通過雙目立體相機對處于滿斗狀態下的鏟斗的輪廓圖像進行采集；

B2：滿斗外輪廓圖像雙目校正；

對雙目立體相機采集到的滿斗狀態下的鏟斗的輪廓圖像進行雙目校正，以使滿斗狀態下鏟斗的輪廓上的同一特征點位于雙目立體相機左右鏡頭采集到的兩張圖像水平方向上的同一直線上；

B3：滿斗外輪廓圖像立體匹配；

對雙目校正后的兩張圖片采用計算機雙目視覺中的半全局匹配算法進行立體匹配，以獲取視差圖；

B4：三維重建滿斗外輪廓圖像；

根據獲取到的視差圖，通過幾何關系計算得到視差圖上每個像素點的深度值，并利用相機內參計算出三維坐標，從而生成一組滿斗三維模型點集；

獲取鏟斗工作裝置在滿斗狀態下的結構信息的具體過程如下：

通過位移傳感器甲采集動臂油缸的伸縮量，通過位移傳感器乙采集轉斗油缸的伸縮量，進而確定鏟斗工作裝置在滿斗狀態下的結構信息。

4.如權利要求1所述基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，其特征在于：

采用現有的迭代最近點算法對步驟三中獲取的裝載機在不同角度下的滿斗外輪廓圖像的三維點云進行配準與拼接，補全裝滿物料的鏟斗兩側面輪廓，以獲取完整的滿斗外輪廓圖像信息。