[發明專利]一種基于多視目標提取的室內環境下物體檢測方法

有效

• 申請號: 201710549591.1
• 申請日: 2017-07-07
• 公開（公告）號: CN107358189B
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 劉宏;馬佳瑤;宋章軍;張國棟;董耀鳳;吳觀明
• 申請（專利權）人: 北京大學深圳研究生院;深圳市銀星智能科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 邱曉鋒

本發明涉及一種基于多視目標提取的室內環境下物體檢測方法。該方法包括：1)建立室內環境的半稠密地圖；2)處理半稠密地圖，將表示同一物體的區域用邊界框框出來；3)將邊界框重新投影到對應相機位姿的單幀圖片上；4)提取圖片流的SIFT特征并進行降維處理；5)將特征向量與邊界框進行匹配，得到描述邊界框內物體的特征向量；6)將所有特征向量利用FLAIR的方法進行編碼，并保存為詞袋；7)重復以上步驟，將不同圖片得到的特征向量與詞袋進行匹配，若無法匹配則更新詞袋，直到建成完整地圖，即可實現對場景中所有物體的分類。本發明計算速度快，檢測完備率高，隨著物體種類增加計算資源消耗的增長接近常數值。

技術領域

本發明屬于圖像處理與模式識別技術領域，具體涉及一種基于多視目標提取的室內環境下物體檢測方法。該方法利用單目室內見圖與定位算法，通過基于多視目標提取輔助物體檢測，進行快速編碼提高物體檢測效率。

背景技術

物體識別是機器人感知的重要組成之一。近幾十年來，圖像處理與模式識別技術取得了顯著的進步，已開始從實驗室慢慢走向市場。隨著圖像處理與模式識別研究工作的不斷發展，針對不同性質圖像和不同模式的識別系統，其識別精度已經很高了，足以滿足市場用戶的需求，已經在工業、家電、通信、汽車電子、醫療、家庭服務和消費電子類產品等領域得以應用。

針對室內物體檢測，傳統方法通常在指定數據集上進行目標檢測。依賴于特定的數據集，這種方法，不適用于室內機器人實時移動的場景，并且存在遮擋、光線、角度等問題。

發明內容

針對現有技術存在的問題，本發明的目的是提供一種基于多視目標提取的室內環境下物體檢測方法，能夠提高目標檢測速度，提高計算效率。

本發明采用的技術方案如下：

一種基于多視目標提取的室內環境下物體檢測方法，其步驟包括：

1)對輸入的圖片流進行處理，建立室內環境的半稠密地圖，得到不同視角下的候選物體，并實現相機的定位和跟蹤；

2)處理半稠密地圖，將地圖上表示同一物體的區域用邊界框框出來，同時根據場景需要剔除冗余邊界框；

3)將步驟2)中得到的邊界框重新投影到對應相機位姿的單幀圖片上；

4)在步驟1)-3)進行的同時，提取圖片流的SIFT特征，并對得到的特征向量進行降維處理(用以提高計算效率)；

5)將步驟4)得到的特征向量與步驟2)提取出的邊界框進行匹配，得到描述邊界框內物體的特征向量；

6)將步驟5)得到的所有特征向量利用FLAIR的方法進行編碼，并保存為詞袋(BOW)；

7)不斷重復步驟1)-6)，將不同圖片得到的特征向量與詞袋進行匹配，若無法匹配則在原有基礎上更新詞袋，直到建成完整地圖，即可實現對場景中所有物體的分類。

下面進一步說明本發明涉及的關鍵技術：

1.基于密度分區的半稠密場景重建及目標提取方法

傳統目標提取方法是基于像素的或者是基于邊緣表示的，都在單張圖像中確認是否包含候選物體。但在室內環境下，機器人在環境中可能通過不同的角度觀察到同一個物體，結合時空三維重建的內容能夠使得物體檢測的結果魯棒。

本發明利用室內定位與建圖技術可以提供時空的三維重建，利用時空和邊緣顏色信息，建立基于密度分區的半稠密場景，可以得到不同視角下的候選物體。從而輔助物體檢測，提筆畫高檢測魯棒性。為了檢索到物體，在傳統室內定位與建圖技術的基礎上進行語義分割。