[發明專利]基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法

有效

• 申請號: 202010115606.5
• 申請日: 2020-02-25
• 公開（公告）號: CN111368664B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 李學飛;陳冠龍;陸錦雄;李英男;畢秋實;姚宗偉
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V10/44;G06T7/62;E02F3/28;E02F3/34;E02F3/40
• 代理公司: 長春吉大專利代理有限責任公司 22201
• 代理人: 劉程程

本發明公開了基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，所述識別方法是將機器視覺采集到的鏟斗所裝物料的外部輪廓圖像信息與鏟斗的動作狀態信息進行融合來確定鏟斗內所裝物料的體積，進而獲得裝載機的滿斗率，其中，通過位移傳感器分別獲取空斗和滿斗狀態下的鏟斗工作裝置結構信息，并進一步確定空斗位置信息和滿斗位置信息，通過空斗位置信息和滿斗位置信息計算獲得轉換矩陣，并作為迭代最近點算法的初始矩陣對空斗三維模型點集和滿斗三維模型點集進行點集配準。本發明將機器視覺和鏟斗位置信息融合，使裝載機在作業過程中能夠快速準確的識別鏟斗滿斗率，并克服在進行體積估算時必須保持鏟斗位置固定的限制。

技術領域

本發明屬實時非接觸式測量技術領域，具體涉及基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法。

背景技術

滿斗率是指鏟斗鏟入的物料體積與鏟斗的額定容積的比值，鏟斗滿斗率是確定挖掘機、鏟運機和裝載機等土方機械的性能和生產率的主要參數之一。尤其對于無人駕駛土方機械，由于沒有駕駛員操作，機器需要通過每一次的鏟掘信息來自主調整鏟掘策略，滿斗率屬于其中一個重要的鏟掘信息，每次挖掘后通過準確測量滿斗率來調整下一次的操作策略，以更好地進行作業。

現有研究成果中對鏟斗滿斗率的測量方法主要為通過稱重系統來測量，該稱重系統通過液壓缸受到的力來計算負載重量。但是，這種方法在實際應用中存在一定問題，因為這種方法測量的是鏟斗中物料的重量，而我們真正關注的是鏟斗中物料的體積，如果事先沒有獲得裝載物料的密度值，僅測得重量，就無法確定鏟斗的滿斗率。獲得物料的精確密度值是一個難題，例如料堆中可能存在巖石碎石沙礫等，導致物料的密度并非定值，使得該系統無法精確計算滿斗率。

國外研究者還提出了一種使用視覺傳感器估算鏟斗中物料體積的算法，在鏟斗位置固定不動的約束下，該算法能夠保持不錯的準確性，但裝載機在作業過程中鏟斗位置實時變化，所以該方法無法應用于實際作業中。

發明內容

針對上述現有技術中的缺陷，本發明提供了基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，該識別方法將機器視覺和鏟斗位置信息融合，使裝載機在作業過程中能夠快速準確的識別鏟斗滿斗率，并克服在進行體積估算時必須保持鏟斗位置固定的限制。結合說明書附圖，本發明的技術方案如下：

基于機器視覺和鏟斗位置信息融合的裝載機滿斗率識別方法，具體過程如下：

步驟一：獲得鏟斗在空斗狀態下的輪廓圖像模型信息和鏟斗工作裝置在空斗狀態下的結構信息；

步驟二：獲得鏟斗在滿斗狀態下的輪廓圖像模型信息和鏟斗工作裝置在滿斗狀態下的結構信息；

步驟三：在滿斗狀態下的裝載機處于不同角度狀態下，重復上述步驟二，獲得裝載機在不同角度下的三組滿斗外輪廓圖像的三維點云，與此同時，在裝載機的不同角度下獲取相應的鏟斗工作裝置在滿斗狀態下的結構信息；

步驟四：獲取完整的滿斗外輪廓圖像信息，并計算轉換矩陣；

步驟五：采用迭代最近點算法，將轉換矩陣作為初始轉換矩陣，對空斗三維模型點集和滿斗三維模型點集進行點集配準，將空斗三維模型點集與滿斗三維模型點集合并；

步驟六：對已合并的空斗三維模型點集與滿斗三維模型點集進行表面插值，以獲得包括鏟斗內表面與鏟斗內物料的上表面在內的兩個表面數據信息；

步驟七：將鏟斗內表面與鏟斗內物料的上表面的兩個表面上分別相對應地劃分尺寸均勻的正方形網格，將每個正方形網格的面積乘以鏟斗內表面與鏟斗內物料的上表面上相應的正方形之間的距離，獲得單個正方形網格對應的空間體積，然后將所有正方形網格對應的空間體積相加，獲得鏟斗內表面與鏟斗內物料的上表面之間的體積，即獲得鏟斗內物料的體積，最后用鏟斗內物料體積除以鏟斗的額定容積，即得到裝載機滿斗率。

所述鏟斗在空斗狀態下的外輪廓圖像模型信息的獲取過程具體如下：