[發明專利]一種基于全局信息和位置嵌入的場景圖生成方法

有效

• 申請號: 202111021629.0
• 申請日: 2021-09-01
• 公開（公告）號: CN113836339B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 胡榮林;趙志勇;董甜甜;張新新;王媛媛;馬鴻泰;邵鶴帥;馮萬利;朱全銀;何旭琴;秦齊
• 申請（專利權）人: 淮陰工學院
• 主分類號: G06F16/55
• 分類號: G06F16/55;G06F16/58;G06F16/583;G06F16/587;G06V10/80;G06V10/82;G06N3/0442;G06N3/045;G06N3/0464;G06N3/08
• 代理公司: 淮安市科文知識產權事務所 32223
• 代理人: 吳晶晶

1.一種基于全局信息和位置嵌入的場景圖生成方法，其特征在于，包括如下步驟：

步驟?1：基于數據集中的圖像，由Faster-RCNN目標檢測模型得到高維視覺特征圖和每個實體信息并且對目標位置編碼，所述實體信息包括目標視覺特征、目標邊界框坐標、類別語義編碼信息；

步驟?2：將步驟1中高維視覺特征圖和實體信息拼接的特征通過基于自注意力機制的網絡輸出殘差連接目標特征；

步驟?2.1：將步驟1中映射的高維視覺特征圖進行自適應平均池化得到可對齊融合的視覺特征圖；

步驟?2.2：對步驟2.1中可對齊融合的視覺特征圖和實體信息采用拼接的融合方式，得到融合特征，并將其作為自注意力機制網絡的輸入，并對目標類別進行語義詞向量的轉換；

步驟?2.3：構建自注意力機制網絡結構，用三個全連接層分別計算融合特征，得到經過自注意力機制網絡計算后的殘差連接目標特征，其中輸出維度為輸入維度的二倍，便于殘差連接時的維度對齊；

步驟?3：對步驟2得到的目標特征利用基于注意力的LSTM網絡得到目標上下文信息，利用LSTM解碼獲取目標分類矩陣；

步驟?3.1：對于步驟2中得到的殘差連接目標特征利用雙向LSTM提取上下文信息，對于每個節點特征其中融入了其他各目標節點的信息特征；

步驟?3.2：對于隱層狀態在解碼前引入注意力機制計算方式，構建注意力機制的可學習參數，得到目標的相關概率度量；

步驟?3.3：用LSTM解碼得到目標分類矩陣，并將其作為邊上下文解碼的輸入；

步驟?4：構建邊上下文生成的解碼信息，以步驟3中目標分類矩陣為邊上下文解碼的輸入，構建目標特征到邊連接特征的主謂賓關系生成融合方式，所述生成融合方式為非線性的主賓融合方式；

步驟?5：根據步驟4中融合方式，得到關系概率分布向量，根據最大分數概率對應的索引，從索引與謂詞的一一對應的列表中得到關系謂詞，并可視化得到最終場景圖表示。

2.根據權利要求1所述的基于全局信息和位置嵌入的場景圖生成方法，其特征在于，所述步驟1中由Faster-RCNN目標檢測模型得到高維視覺特征圖和每個實體信息的具體步驟為：

步驟?1.1：對于整個VG視覺基因組數據集，預處理之后，利用Faster-RCNN模型作為目標檢測器，目標檢測器的基本網絡用VGG16卷積網絡，通過VGG16將原始圖像映射為高維視覺特征圖；

步驟?1.2：由Faster-RCNN模型中的RPN網絡生成實體信息；

步驟1.3：對邊界框進行顯示計算得到位置編碼。

3.根據權利要求1所述的基于全局信息和位置嵌入的場景圖生成方法，其特征在于，所述步驟4具體方法為：

步驟?4.1：將目標視覺特征、殘差連接目標特征、目標分類矩陣進行融合得到全局信息，通過雙向LSTM解碼得到邊上下文特征；

步驟?4.2：構建非線性的主賓融合方式，得到關系度量分數。

4.根據權利要求1所述的基于全局信息和位置嵌入的場景圖生成方法，其特征在于，所述步驟5具體方法為：

步驟?5.1：步驟?4中的目標圖關系索引出其代表的主賓類別，將圖關系以主語-謂語-賓語的格式保存為txt文件；

步驟?5.2：將步驟1中的目標邊界框坐標映射到原始圖像中，對目標在原圖像中類別和區域標記進行可視化。