[發明專利]基于Faster-RCNN物體空間區分方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202210082954.6
• 申請日: 2022-01-25
• 公開（公告）號: CN114120160B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 姜帝兆;鄭義;李驥東
• 申請（專利權）人: 成都合能創越軟件有限公司
• 主分類號: G06V20/20
• 分類號: G06V20/20;G06V10/75;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京卓恒知識產權代理事務所(特殊普通合伙) 11394
• 代理人: 孔鵬

本申請涉及圖像處理技術領域，具體而言，涉及基于Faster?RCNN物體空間區分方法、裝置、計算機設備及存儲介質；該方法包括：獲取待識別圖像；針對待識別圖像，通過Faster?RCNN目標區域推薦網絡獲得多個感興趣區域；獲取獨立感興趣區域的參量；通過參量生成高斯熱圖，基于高斯熱圖作為掩膜，通過點乘所述特征圖得到環境熱圖；對環境熱圖進行池化，得到特征熱圖，基于特征熱圖得到特征向量；生成類別向量，將類別向量與所述特征向量進行拼接，得到目標向量；對目標向量進行回歸處理，得到物體?環境匹配值；基于物體?環境匹配值進行物體環境的區分；本發明能有效克服被識別物體與預設場景不符的情況，增加了對于物體識別的準確度。

技術領域

本申請涉及圖像處理技術領域，具體而言，涉及基于Faster-RCNN物體空間區分方法、裝置、計算機設備及存儲介質。

背景技術

物體檢測(object detection)：它是計算機視覺中的經典問題之一，其任務是用框去標出圖像中物體的位置，并給出物體的類別和置信度。上下文感知(contextawareness)：它是一種在信息系統中，結合物體周邊環境一起推理的能力。

目前針對于基于環境的物體檢測的方法包含兩種，一種方案是基于多個單純的物體檢測模型，一個模型識別物體，另一個識別場景。當被識別物體處于不符合要求的場景時，不輸出結果。另一種方案是，一個模型識別物體，另一個模型對全場景進行語義分割。當被識別物體處于不符合要求的場景時，不上報結果。

利用多個檢測模型的方案，只能對大小、長寬比例合適的“場景”進行檢測，例如一輛卡車上運輸的紙箱：模型檢測出紙箱，另一模型檢測出卡車，若規定卡車上的紙箱不屬于被檢測的類型，則不輸出結果。但對于形狀不規則，大小比例不適合物體檢測模型識別的“場景”時，如天空、湖泊，街道等，此方法無效，會將路燈誤認為井蓋。

針對于這樣的問題，現有技術中常使用利用語義分割的方法理論上能解決上述問題。但由于效果較好的語義分割模型，都使用了較高的分辨率，邊緣端設備由于性能限制無法使用。同時，由于被識別物體的場景多樣，語義分割模型無法包含所有的背景類別，模型也無法推理出待識別物體與環境的關系，最后的輸出結果需要依據兩個模型的結果人為地進行邏輯判斷，缺乏靈活性。

發明內容

本申請實施例提供一種基于Faster-RCNN物體環境區分方法、裝置、計算機設備及其存儲介質，該方法在數據標注的時候需要除了要提供被識別物體的位置、類別信息外，還要求提供該物體周圍的場景與該物體是否匹配的標簽。

為了達到上述目的，本申請實施例采用的技術方案如下：

第一方面，本申請實施例提供了一種基于Faster-RCNN物體環境區分方法，該方法包括：獲取待識別圖像；針對待識別圖像，通過Faster-RCNN目標區域推薦網絡獲得多個感興趣區域；獲取獨立感興趣區域的參量；通過參量生成高斯熱圖，其中熱圖與特征圖大小相同；高斯熱圖作為掩膜，通過點乘所述特征圖得到環境熱圖；對環境熱圖進行池化，得到特征熱圖，基于特征熱圖得到特征向量；基于Faster-RCNN識別結果回歸層生成類別向量，將類別向量與所述特征向量進行拼接，得到目標向量；對目標向量進行回歸處理，得到物體-環境匹配值；基于物體-環境匹配值進行物體環境的區分。

進一步地，參量包括所述感興趣區域的中心位置坐標及寬度和高度。

進一步地，環境熱圖池化處理在Faster-RCNN感興趣區域池化層中進行。

進一步地，對環境熱圖進行池化處理后，得到特征熱圖，并對特征熱圖進行調整，調整為1維向量，得到特征向量。

進一步地，類別向量通過Faster-RCNN全連接層與softmax函數生成。

進一步地，類別向量拼接至特征向量的數據后部，形成目標向量。

進一步地，物體-環境匹配值的獲得通過以下方式：