[發明專利]空間與或圖模型生成方法、裝置、電子設備和存儲介質

在審

• 申請號: 202011570385.7
• 申請日: 2020-12-26
• 公開（公告）號: CN112634369A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 王穎
• 申請（專利權）人: 西安科銳盛創新科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安嘉思特知識產權代理事務所(普通合伙) 61230
• 代理人: 王海棟

本發明公開了一種空間與或圖模型生成方法、裝置、電子設備和存儲介質，包括：獲取場景視頻；利用預先訓練的場景目標檢測網絡對場景視頻中的目標進行檢測，得到每一幀圖像中各目標分別對應的屬性信息；場景目標檢測網絡基于YOLO_v3網絡的主干網絡中殘差模塊更換為密集連接模塊得到；基于每一幀圖像中各目標分別對應的屬性信息，利用預設的多目標跟蹤算法對各幀圖像中的相同目標進行匹配；確定每一幀圖像中不同目標之間的實際空間距離；利用匹配后各幀圖像對應的目標的屬性信息及實際空間距離生成預設場景的空間與或圖模型。本發明改進YOLO_v3網絡進行目標檢測，可提高目標檢測精度和效率，提高場景空間與或圖模型的準確性和實時性。

技術領域

本發明屬于圖像表示領域，具體涉及一種空間與或圖模型生成方法、裝置、電子設備和存儲介質。

背景技術

與或圖(And-Or Graph，AOG)是一種隨機上下文無關語法(SCSG)的層次組合模型，其表示由一組終端和非終端節點從頂層到葉子節點的層次分解，概述了圖像語法中的基本概念。其中，與節點表示目標分解，或節點表示可替代的子配置。

對于與或圖來講，使用小的零件字典通過與或圖的與節點以及或節點分層表示圖像中的目標，這種模型可以體現圖像中目標的空間組合結構，也可以稱之為空間與或圖(Spatial And-Or graph，S-AOG)模型。空間與或圖模型基于目標的空間位置關系，通過不同空間配置將目標的部件進行分層組合來表示目標。因此可以用來在圖像分析中解析各個目標的位置關系，從而實現目標定位和跟蹤等具體應用。比如，可以實現對交通路口、廣場等復雜場景的目標識別和定位，等等。

在以前的空間與或圖模型中，為了確定目標在空間中的位置關系，通常使用傳統的目標檢測算法，如前后背景分割、目標聚類算法等。但是，使用上述目標檢測算法，對于目標的空間位置關系的定位準確性不夠，進而獲得的目標表示的S-AOG的模型也不夠準確。同時，伴隨著目標快速分析、檢測需求的日益增長。傳統的目標檢測算法的檢測效率已經無法滿足實時檢測的要求，得到的空間與或圖模型的實時性普遍較差。

發明內容

本發明實施例的目的在于提供一種空間與或圖模型生成方法、裝置、電子設備及存儲介質，以實現提高目標檢測精度和效率，從而提高場景的空間與或圖模型的準確性和實時性的目的。具體技術方案如下：

第一方面，本發明實施例提供了一種空間與或圖模型生成方法，所述方法包括：

獲取針對預設場景的場景視頻；

利用預先訓練的場景目標檢測網絡對所述場景視頻中的目標進行檢測，得到所述場景視頻的每一幀圖像中各目標分別對應的屬性信息；其中，所述場景目標檢測網絡是基于YOLO_v3網絡的主干網絡中，殘差模塊更換為密集連接模塊得到的；所述場景目標檢測網絡是根據樣本場景視頻，以及所述樣本場景視頻的每一幀圖像中各目標的屬性信息訓練得到的；所述屬性信息包括包含所述目標的邊界框的位置信息和所述目標的類別信息；

基于所述每一幀圖像中各目標分別對應的屬性信息，利用預設的多目標跟蹤算法對所述場景視頻的各幀圖像中的相同目標進行匹配；

確定每一幀圖像中不同目標之間的實際空間距離；

利用匹配后各幀圖像對應的目標的所述屬性信息以及所述實際空間距離，生成所述預設場景的空間與或圖模型。

可選的，所述場景目標檢測網絡的主干網絡包括多個間隔串接的密集連接模塊和過渡模塊；所述密集連接模塊的數量至少為三個；所述密集連接模塊包括串行連接的卷積網絡模塊和密集連接單元組；所述卷積網絡模塊包括串行連接的卷積層、BN層、Leaky relu層；所述密集連接單元組包括m個密集連接單元；每個密集連接單元包括多個采用密集連接形式連接的所述卷積網絡模塊，并采用級聯方式融合多個卷積網絡模塊輸出的特征圖；其中，m為大于等于4的自然數。

可選的，所述過渡模塊為所述卷積網絡模塊。