[發明專利]一種融合先驗知識的交通場景圖生成方法

在審

• 申請號: 202211543285.4
• 申請日: 2022-12-02
• 公開（公告）號: CN115830549A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 連靜;王政皓;李琳輝;趙劍
• 申請（專利權）人: 大連理工大學
• 主分類號: G06V20/54
• 分類號: G06V20/54;G06V10/764;G06V10/82;G06N3/0464;G06N3/08;G06N5/022;G06F16/583;G06F16/58
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 魯保良;李洪福

1.一種融合先驗知識的交通場景圖生成方法，其特征在于：包括以下步驟：

A：預處理圖像

利用車載攝像頭獲取交通場景圖像，將圖像輸入到目標檢測網絡中，獲取圖像中目標的類別語義信息I_E、目標的視覺信息I_V和目標的空間信息I_S，采用語義編碼器對目標的類別語義信息編碼，獲取目標的語義特征F_E；將目標檢測框內的圖像區域輸入到卷積神經網絡中，提取目標檢測框內目標的視覺特征F_V；采用歸一化方法對目標空間位置坐標歸一化，獲取目標的空間特征F_S；

B：獲取先驗知識

將離線三元組數據庫存儲于車載電腦存儲器中，采用語義編碼器對離線三元組數據庫內三元組的語義信息進行編碼，并將編碼后的語義信息輸入到嵌入層網絡中，獲取高維三元組G：

G＝{h,r,t}

式中，h為頭實體詞向量，r為關系詞向量，t為尾實體詞向量；將離線三元組數據庫內每對三元組的頭實體詞向量和尾實體詞向量輸入到詞嵌入表征模型中，預測關系詞向量，并構建如下損失函數：

loss＝r-KGE(h,t)

式中，KGE(·)為詞嵌入表征模型；

通過對詞嵌入表征模型的訓練，捕獲三元組之間的交互特征，從而實現三元組的建模；另外，所構建的詞嵌入表征模型根據頭實體和尾實體，推理兩者之間的關系概率空間其中，表示當頭實體詞向量為h、尾實體詞向量為t時，兩個實體之間第i個關系的概率，K為關系詞向量的種類；將關系概率空間作為先驗知識，為后續的在線關系推理提供先驗性指導；

C：推理目標對關系

將圖像中出現的任意兩個目標構建成目標對，將目標對中兩個目標的語義特征F_E輸入到詞嵌入表征模型中，獲取目標對的關系概率空間并設置閾值T_H，當關系概率空間中的最大值r_max大于閾值T_H時，則將目標對的關系設置為有關聯；當關系概率空間中的最大值r_max小于閾值T_H時，則將目標對的關系設置為無關聯，實現推理過程的降維；采用拼接算法concat(·)將有關聯目標對的視覺特征、語義特征、空間特征以及關系概率空間拼接，組成多模態特征F_M，將多模態特征F_M輸入到由全連接層組成的推理網絡中，推理目標對的關系r_p，將關系概率空間根據概率值從高到低排序，且只保留前十個關系概率，組成新的關系概率空間為減少不合理關系的出現，將推理網絡的輸出結果限制在空間內，如果推理網絡的輸出結果超出空間，則認為所推理的結果為不合理關系，采用關系概率空間中概率值最高的關系作為目標對的最終關系。