[發明專利]一種同步定位和地圖構建中物體的快速識別方法

有效

• 申請號: 202011091518.2
• 申請日: 2020-10-13
• 公開（公告）號: CN112258575B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 董瑋;高藝;周寒;范宏昌
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06N3/04;G06N3/08
• 代理公司: 杭州天正專利事務所有限公司 33201
• 代理人: 王兵

1.一種同步定位和地圖構建過程中物體的快速識別方法，包括如下步驟：

(1)在同步定位和地圖構建過程中，在初始化地圖的同時進行深度神經網絡模型對畫面進行物體識別，并保存識別結果及其對應地圖點信息；所述深度神經網絡模型識別的結果為物體標簽和物體二維包圍盒，對應的地圖點為包圍盒映射到地圖中所包圍的地圖點，地圖點指的是同步定位和地圖構建過程中畫面上出現的圖像特征點中被多幀連續觀察到之后通過多幀畫面確定其三維位置的點；找到對應地圖點后為這些地圖點加上物體ID標簽；識別該物體后將該物體的圖像特征向量保存到物體圖像檢索數據庫，為其建立用于圖像檢索的索引；其中，所述圖像特征向量為從深度物體識別神經網絡模型推理結果中取得；

(2)在初始化完畢后的運行過程中，若理論上應當出現在畫面的物體，在該畫面中檢測不到可以與之匹配的地圖點，則認為物體發生了移動，并且是移動到了畫面外；所述理論上應當出現，指的是物體在第一次被識別后所處的位置被記錄到地圖中，運行過程中該位置再次出現在畫面中；此時若該物體位置未發生變動，且定位過程未發生較大偏移，則該物體將被畫面捕捉到；檢測不到可以與之匹配的地圖點指的是將地圖點的特征描述子與畫面中該物體所在位置的圖像特征點描述子進行特征點匹配過程，在匹配后發現兩組特征描述子的匹配程度未達到一定閾值；此時更新地圖點，刪去原物體地圖點，并在物體信息中標記失去該物體的位置；

(3)在初始化完畢后的運行過程中，若某個理論上應當出現在畫面中的物體，在地圖中可以找到與之匹配的地圖點，但是根據這些地圖點所計算得到的相機位姿與其它物體不一致時，則認為物體發生了移動，并且移動后仍然出現在畫面內；在一幀畫面中，使用該物體所對應特征點計算得到一個相機位姿，使用除該物體外其他特征點計算得到另一個相機位姿，在算法結果未發生較大誤差的情況下，若兩個相機位姿差別較大，則認為該物體與畫面中其他特征點所代表的地圖元素的相對位置發生了改變，若畫面中其他特征點代表了地圖中靜態的背景，則認為物體的位置發生了變動；此時對移動后的物體區域單獨進行圖像檢索，恢復其物體ID信息，不需要運行神經網絡，即可計算該物體的位置變動量，進行地圖的更新；

其中，根據地圖點所計算得到的相機位姿由以下步驟計算得到：

(31)提取畫面中物體所在區域的二維坐標表示的圖像特征點，稱之為二維特征點；

(32)獲取地圖中當前相機位姿附近的三維坐標表示的地圖點，稱之為三維特征點；

(33)將二維特征點的圖像特征描述子與三維特征點的圖像特征描述子進行匹配，獲得匹配程度高于一定閾值的一系列匹配點對；

(34)通過pespective-n-point算法，使用獲得的匹配點對計算該畫面對應的相機位姿；

(4)在初始化完畢后的運行過程中，使用深度神經網絡檢測匹配到的物體區域以外的部分；對于每一幀，若畫面中存在已被識別的物體，則只將該部分子圖以外的部分分割成各個矩形子圖進行神經網絡推理識別，而非對整個圖像進行識別，以提升神經網絡的運行速度；成功識別到物體后，提取深度神經網絡推理結果中該物體的特征向量，使用該向量對該子圖進行圖像檢索，若能在數據庫中檢索到匹配程度高于一定閾值的物體，則認為捕捉到該物體的移動；若與數據庫中任意物體的匹配程度低于一定閾值，則認為發現了新出現在地圖中的物體，將該物體加入數據庫。