[發明專利]一種串型水果分布式視覺主動感知方法及其應用

有效

• 申請號: 202010466512.2
• 申請日: 2020-05-28
• 公開（公告）號: CN111602517B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 熊俊濤;李中行;陳淑綿;卜榕彬;鐘灼;劉柏林
• 申請（專利權）人: 華南農業大學
• 主分類號: A01D46/30
• 分類號: A01D46/30;G06T7/73;G06T7/80;G06K9/00;G06F30/27;G06Q10/04;G06N3/12;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 陳燕嫻

1.一種串型水果分布式視覺主動感知方法，其特征在于包括下述步驟：

(1)確定多類視覺傳感器信息的耦合關系，布置分布式視覺方案；

(2)采用大視場相機獲取果樹的大視場圖像，以進行大視場目標感知：即利用實例分割網絡Mask R-CNN對大視場圖像中的串型水果目標進行檢測和識別，獲得串型水果的空間信息，利用視覺顯著性算法評估大視場圖像中的串型水果目標的品質狀態，然后根據串型水果目標的空間信息和品質狀態進行多目標采摘順序規劃，得到各個串型水果目標的采摘優先級，同時確定二次感知的各采摘預備點；

所述視覺顯著性算法，即改進Itti顯著圖模型，是提取多尺度亮度、方向、拮抗顏色對(R-G,B-Y,Cr-Cb,S-H)金字塔特征，在中等尺度上進行特征融合加權計算，得到像素級視覺顯著圖；

所述評估水果目標品質狀態，是指大視場相機通過Mask R-CNN識別的水果區域在顯著圖中匹配，獲得各水果目標的視覺顯著信息，然后計算各水果目標的平均顯著度來量化完好水果的品質狀態；

所述多目標采摘順序規劃，是對Mask R-CNN識別的大視場圖像中所有串型水果區域，采摘順序規劃模型收集各串水果的面積、距離信息和平均顯著度數據，歸一化之后映射到三維空間，將順序規劃問題轉化為旅行商問題，利用遺傳算法定義遺傳算法的適應度函數，在顯著度-面積-深度距離空間下迭代搜索最優采摘順序路徑，為每個水果分配采摘優先級，最終得到串型水果的采摘順序并在大視場圖像中標記出序號，進而引導機械手有序采摘樹上串型水果目標；

(3)驅動機械手到達一個采摘預備點后，小視場相機隨著機械手運動，近距離感知和觀察串型水果，獲取動態的小視場圖像，以進行二次感知：結合智能推理與知識建模方法建立視覺與機械手關聯的運動控制模型，實現小視場目標的主動感知與采摘智能決策，即機械手通過自主學習和探索到達采摘串型水果的最優視角，小視場相機在最優視角處再次獲取圖像進行姿態估計，并計算采摘點的位置，機械手運動至采摘點的位置并執行采摘動作，將采摘完成的串型水果放入收集裝置；

所述機械手通過自主學習和探索到達采摘串型水果的最優視角，是指采用虛擬實驗的方法，在仿真系統內建立PPO強化學習網絡：首先，根據機械手各轉軸運動特點建立仿真機械手隨機運動模型，當機械手末端執行器移動到小視域柵格圖像中的下一觀察位置時，目標函數的值發生改變，為了使串型水果目標的信息最大化，即最大化目標函數，建立對應獎賞機制；通過隨機運動探尋不同觀察位置不同的目標函數值F(x_i)，更新最大目標函數maxF(x)的值，即F(x_i)＞maxF(x)時，maxF(x)＝F(x_i)，終止回合并根據maxF(x)大小給予獎勵；同時根據時間的花銷給予懲罰，懲罰指標按串型水果分布形態復雜程度和不同遮擋程度進行設置，具體為：

R_publish＝R_restart-k₁f₁(x)-k₂f₂(x)

式中，R_restart為懲罰初始值，權重值k₁+k₂＝1，f₁(x)為串型水果分布形態復雜程度歸一化大小，f₂(x)為不同遮擋程度歸一化大小；在下一回合中機械手會隨機探尋另一條道路以獲取更高的maxF(x)，通過多次訓練，得出目標函數最優解，最終得到機械手最優觀測視角的姿態信息以及對應的采摘預備點；

(4)驅動機械手到達另一個采摘預備點，重復執行步驟(3)，直到所有采摘預備點的串型水果目標采摘完畢。

2.根據權利要求1所述的串型水果分布式視覺主動感知方法，其特征在于：步驟(1)中，所述確定多類視覺傳感器信息的耦合關系，包括大視場相機和小視場相機的空間映射關系，以及相機內部視覺傳感器之間的變換矩陣；所述布置分布式視覺方案，是指根據自然環境圖像采集與分析實驗，設計大視場相機和小視場相機結合的分布式視覺方案，進而確定大視場相機、小視場相機與機械手的空間坐標映射關系，建立關系模型。