[發明專利]一種融合先驗知識的交通場景圖生成方法

在審

• 申請號: 202211543285.4
• 申請日: 2022-12-02
• 公開（公告）號: CN115830549A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 連靜;王政皓;李琳輝;趙劍
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06N5/022;G06F16/583;G06F16/58
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 魯保良;李洪福

本發明公開了一種融合先驗知識的交通場景圖生成方法，包括以下步驟：將圖像輸入到目標檢測網絡中，獲取目標的空間特征F_S；將離線三元組數據庫存儲于車載電腦存儲器中，采用語義編碼器獲取高維三元組G，將關系概率空間作為先驗知識；推理目標對的關系r_p，采用關系概率空間中概率值最高的關系作為目標對的最終關系。本發明利用先驗知識，將交通場景圖像中無關聯的目標對濾除，實現推理過程降維，減少無關聯的目標之間關系推理對計算資源的占用，提高算法整體的實時性，提高算法在車載嵌入式平臺中的適應性。本發明通過將先驗知識融入到推理過程，為推理過程提供先驗偏置，緩解推理過程傾向于頭部類別的現象，提高網絡推理結果的合理性。

技術領域

本發明涉及場景理解領域，尤其涉及一種基于計算機視覺的交通場景圖生成方法。

背景技術

隨著計算機視覺視技術的發展，視覺場景理解獲得廣泛的關注，尤其在自動駕駛領域，通過計算機視覺技術實現交通場景的環境感知已經成為主流方法。其中，目標檢測是一項重要的視覺場景理解任務，目標檢測算法可以提供圖像中所包含的目標以及目標的空間位置，為場景理解提供重要的信息，然而，目標檢測算法旨在推理圖像中的目標和位置，而不能獲取目標之間的關系這類深層信息，對于交通場景這類復雜場景，不僅需要獲取場景中出現的目標，理解目標之間的關系能夠對預測目標的行為提供重要信息依據，為后續的決策以及路徑規劃提供重要基礎，為進一步提高交通場景理解的深度，場景圖生成技術應運而生，場景圖生成技術不僅能夠提供圖像中目標對之間的視覺關系，而且能夠為高級視覺理解任務提供結構化場景表示。

目前，主流的場景圖生成算法，將圖像中出現的任意兩個目標構建成目標對，進而推理每個目標對的關系，然而，當面對復雜場景時，尤其是復雜的交通場景，圖像中出現的目標數目種類繁多，目標對數目呈現階乘式增長，因此，需要占用更多的計算資源，不能滿足低成本車載嵌入式設備實時性的要求；另外，場景圖中的關系分布存在明顯的長尾現象，這會讓推理網絡的推理結果更傾向頭部類別，從而導致一些不合理的關系推理結果。

發明內容

針對當前的交通場景圖生成方法實時性低、不能適應于關系分布中所存在的長尾問題，且存在關系推理不合理的現象，本發明要提出一種融合先驗知識的交通場景圖生成方法，將先驗知識融入到推理過程中，緩解推理過程傾向于頭部類別的現象，并且利用先驗知識為推理過程提供約束，提高推理結果的合理性。

為了實現上述目的，本發明的技術方案如下：一種融合先驗知識的交通場景圖生成方法，包括以下步驟：

A：預處理圖像

利用車載攝像頭獲取交通場景圖像，將圖像輸入到目標檢測網絡中，獲取圖像中目標的類別語義信息I_E、目標的視覺信息I_V和目標的空間信息I_S，采用語義編碼器對目標的類別語義信息編碼，獲取目標的語義特征F_E；將目標檢測框內的圖像區域輸入到卷積神經網絡中，提取目標檢測框內目標的視覺特征F_V；采用歸一化方法對目標空間位置坐標歸一化，獲取目標的空間特征F_S。

B：獲取先驗知識

將離線三元組數據庫存儲于車載電腦存儲器中，采用語義編碼器對離線三元組數據庫內三元組的語義信息進行編碼，并將編碼后的語義信息輸入到嵌入層網絡中，獲取高維三元組G：

G＝{h,r,t}

式中，h為頭實體詞向量，r為關系詞向量，t為尾實體詞向量；將離線三元組數據庫內每對三元組的頭實體詞向量和尾實體詞向量輸入到詞嵌入表征模型中，預測關系詞向量，并構建如下損失函數：

loss＝r-KGE(h,t)

式中，KGE(·)為詞嵌入表征模型。