[發明專利]多模態目標檢測方法、裝置、掃地機及存儲介質

有效

• 申請號: 202210095045.6
• 申請日: 2022-01-26
• 公開（公告）號: CN114532919B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 楊勇;吳新龍;劉建平;張康健
• 申請（專利權）人: 深圳市杉川機器人有限公司
• 主分類號: A47L11/40
• 分類號: A47L11/40;H04N23/70;G06V10/774
• 代理公司: 深圳市恒程創新知識產權代理有限公司 44542
• 代理人: 趙愛蓉

1.一種多模態目標檢測方法，其特征在于，所述多模態目標檢測方法包括：

獲取掃地機當前所在位置對應的環境圖像；

提取所述環境圖像中目標區域對應的特征信息，以識別當前掃地機所處的環境，獲得環境識別結果，其中，所述環境識別結果包括光亮環境和黑暗環境，所述特征信息包括目標區域對應的灰度平均值、光線強度、亮度平均值及亮度分布結構；

若所述環境識別結果為黑暗環境，則獲取所述黑暗環境對應的目標待檢測圖像；

基于所述目標待檢測圖像，通過多模態目標檢測模型進行目標檢測，獲得目標檢測結果，其中，所述多模態目標檢測模型為基于預先獲取的不同模態的待訓練圖像進行迭代訓練獲得；

所述若所述環境識別結果為黑暗環境，獲取所述黑暗環境對應的目標待檢測圖像的步驟包括：

若所述環境識別結果為黑暗環境，則開啟預設灰度圖通道，以獲得所述黑暗環境下對應的灰度圖像；

對所述灰度圖像進行預處理，并將預處理后的灰度圖像作為所述黑暗環境對應的目標待檢測圖像。

2.如權利要求1所述的多模態目標檢測方法，其特征在于，所述提取所述環境圖像中目標區域對應的特征信息計算所述環境圖像中目標區域對應的灰度平均值，以識別當前掃地機所處的環境，獲得環境識別結果的步驟包括：

對所述環境圖像進行對角連接，獲得對角連接線；

確定所述對角連接線覆蓋所述環境圖像的目標區域，并計算所述目標區域的灰度平均值；

將所述灰度平均值和預設像素閾值進行比較，獲得所述環境識別結果。

3.如權利要求1所述的多模態目標檢測方法，其特征在于，在所述提取所述環境圖像中目標區域對應的特征信息，以識別當前掃地機所處的環境，獲得環境識別結果，其中，所述環境識別結果包括光亮環境和黑暗環境的步驟之后，所述多模態目標檢測方法還包括：

若所述環境識別結果為光亮環境，則將所述環境圖像作為所述光亮環境對應的目標待檢測圖像，以執行步驟：基于所述目標待檢測圖像，通過多模態目標檢測模型進行目標檢測，獲得目標檢測結果。

4.如權利要求1至3任一所述的多模態目標檢測方法，其特征在于，所述基于所述目標待檢測圖像，通過多模態目標檢測模型進行目標檢測，獲得目標檢測結果的步驟包括：

將所述目標待檢測圖像輸入所述多模態目標檢測模型，以對所述目標待檢測圖像進行目標檢測，獲得所述目標待檢測圖像中檢測框的目標對象以及位置信息；

將所述目標對象與預設物體類型進行概率計算，確定所述目標對象對應的對象類型；

將所述目標對象對應的對象類型以及位置信息作為所述目標檢測結果。

5.如權利要求1所述的多模態目標檢測方法，其特征在于，在所述基于所述目標待檢測圖像，通過多模態目標檢測模型進行目標檢測，獲得目標檢測結果，其中，所述多模態目標檢測模型為基于預先獲取的不同模態的待訓練圖像進行迭代訓練獲得的步驟之前，所述多模態目標檢測方法還包括：

獲取待訓練目標檢測模型；

獲取待訓練圖像樣本，其中，所述待訓練圖像樣本包括各待訓練圖像組，各所述待訓練圖像組均包括第一圖像和第二圖像且所述第一圖像和所述第二圖像為不同環境下的圖像；

對所述第一圖像和所述第二圖像進行多模態數據對齊處理，并將數據對齊處理后的圖像進行預處理操作，獲得目標訓練圖像樣本；

基于所述目標訓練圖像樣本，對所述待訓練目標檢測模型進行迭代訓練優化，獲得所述多模態目標檢測模型。

6.如權利要求1所述的多模態目標檢測方法，其特征在于，所述目標檢測結果包括目標待檢測圖像中目標對象對應的對象類型以及位置信息，在所述基于所述目標待檢測圖像，通過多模態目標檢測模型進行目標檢測，獲得目標檢測結果的步驟之后，所述多模態目標檢測方法還包括：

當所述目標對象對應的對象類型為所述掃地機需躲避目標，則根據所述位置信息，控制所述掃地機執行自動避障策略，以優化路徑規劃完成清掃任務。