[發明專利]基于RGB-D多模圖像信息的目標果實檢測方法及系統

在審

• 申請號: 202110400462.2
• 申請日: 2021-04-14
• 公開（公告）號: CN113344844A
• 公開（公告）日: 2021-09-03
• 發明（設計）人: 孫美麗;賈偉寬;徐連城;馬曉慧;張琦;魏金夢
• 申請（專利權）人: 山東師范大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T7/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

1.一種基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，包括：

獲取目標果實的深度圖像和RGB圖像；

基于目標果實的深度圖像及RGB圖像分別預測深度流及RGB流；

通過自適應深度蒸餾通道與注意力深度蒸餾通道將深度圖像知識信息和定位信息傳遞到RGB流中，得到目標果實檢測結果；

其中，自適應蒸餾通道建立在深度流與RGB流之間，以使深度流與RGB流的預測結果誤差損失最小；注意力深度蒸餾通道建立在擴張深度流和注意力映射之間，以使深度圖像的定位信息在預測深度流與注意力映射之間保持一致；擴張深度流由深度流最大池化操作得到。

2.如權利要求1所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，基于目標果實的深度圖像預測深度流的過程為：

提取深度圖像的高層特征，并將其輸入到感受野增強模塊RFB中，再經過解碼器實現特征融合操作，得到深度流。

3.如權利要求2所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，采用VGG為基本構架，提取深度圖像的高層特征。

4.如權利要求2所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，感受野增強模塊RFB以Inception分支結構為框架，加入擴張卷積來獲取更多感受野信息和高層特征的對比度。

5.如權利要求2所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，經過解碼器實現特征融合操作的過程為：經過卷積和上采樣獲得深度圖像的輸出流，得到深度流。

6.如權利要求1所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，基于目標果實的RGB圖像預測RGB流的過程為：

提取RGB圖像的高層特征，并將其使用注意力機制提取注意力映射，將映射結果經解碼器實現特征融合操作，得到RGB流。

7.如權利要求6所述的基于RGB-D多模圖像信息的目標果實檢測方法，其特征在于，采用VGG為基本構架，提取RGB圖像的高層特征。

8.一種基于RGB-D多模圖像信息的目標果實檢測系統，其特征在于，包括：

圖像獲取模塊，其用于獲取目標果實的深度圖像和RGB圖像；

流預測模塊，其用于基于目標果實的深度圖像及RGB圖像分別預測深度流及RGB流；

信息傳遞模塊，其用于通過自適應深度蒸餾通道與注意力深度蒸餾通道將深度圖像知識信息和定位信息傳遞到RGB流中，得到目標果實檢測結果；

其中，自適應蒸餾通道建立在深度流與RGB流之間，以使深度流與RGB流的預測結果誤差損失最小；注意力深度蒸餾通道建立在擴張深度流和注意力映射之間，以使深度圖像的定位信息在預測深度流與注意力映射之間保持一致；擴張深度流由最大池化操作得到。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一項所述的基于RGB-D多模圖像信息的目標果實檢測方法中的步驟。

10.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一項所述的基于RGB-D多模圖像信息的目標果實檢測方法中的步驟。