[發明專利]一種面向主題的圖像場景圖生成方法

在審

• 申請號: 202110726055.0
• 申請日: 2021-06-29
• 公開（公告）號: CN113689514A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 張旻;陳景翔;姜明
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06K9/00;G06K9/46;G06K9/62
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發明公開了一種面向主題的圖像場景圖生成方法。本發明首先使用LDA概率主題模型，提取文本的主題概率分布以及主題的詞匯分布，構建圖像主題數據集。然后利用圖像主題數據集，預訓練得到圖像主題預測模型。其次，模型對圖像進行目標檢測，并融合全局特征、目標特征、類別特征以及主題特征得到關系特征，對檢測的目標預測其屬性以及目標間的關系，訓練得到場景圖生成模型。使用U?2?Net對圖像進行顯著性檢測，并利用檢測結果得到圖像中各像素點的顯著值，通過顯著值得到圖像的顯著性區域。結合顯著性區域以及生成的圖像場景圖，根據定義規則最終生成面向主題的圖像場景圖。本發明解決了現有場景圖中存在主題無關目標的問題。

技術領域

本文發明涉及場景圖生成方法，具體來講是一種面向主題的圖像場景圖生成方法，屬于場景圖生成技術領域。

背景技術

隨著場景圖生成相關任務被明確定義以及用于研究視覺關系的大規模圖像數據集的提出，研究者對場景圖生成領域的關注也日益增長。場景圖包含了圖像或者文本的結構化語義信息，其中包括目標、屬性以及成對的關系，這些信息對于視覺任務而言可以提供豐富的先驗知識。具體的應用包括了圖像描述生成，視覺問答，圖像檢索和圖像生成。

大部分的場景圖生成模型，并不能根據圖像的主題針對性地生成場景圖，而是對圖像中的所有目標構建關系，生成圖像場景圖。因此，場景圖中可能包含主題相關性較弱的目標，也可能缺少部分主題相關性較強的目標。當下游任務例如圖像描述生成接收場景圖作為輸入時，生成的描述可能不能準確表達圖像的中心思想。當人第一眼看到圖像時，會根據先驗知識迅速地提煉出圖像的主題，針對主題聚焦于圖像的主要目標構建場景圖。受此啟發，本文提出了面向主題的場景圖生成方法，利用圖像主題與顯著性檢測模擬該過程，將模型聚焦于圖像的主要目標，生成面向主題的場景圖。

發明內容

本發明的目的是針對現有技術的不足，提供一種面向主題的場景圖生成方法，以解決傳統的場景圖生成方法無法針對圖像的主題，生成符合圖像主題的場景圖的問題。

為了解決這些問題，本發明在傳統的場景圖生成方法的基礎上，結合圖像主題以及顯著性檢測，提出了一種面向主題的場景圖生成方法。具體來說，首先使用LDA概率主題模型，提取文本的主題概率分布以及主題的詞匯分布，構建圖像主題數據集。然后利用圖像主題數據集，預訓練圖像主題預測模型。其次，模型結合圖像主題，對圖像進行目標檢測，并融合全局特征、目標特征、類別特征以及主題特征得到關系特征，對檢測的目標(obj)預測其屬性(attr)以及目標間的關系(rel)，訓練得到場景圖生成模型。然后，使用顯著性檢測方法U-2-Net對圖像進行顯著性檢測，并利用顯著性檢測的結果得到圖像中各像素點的顯著值，通過分析圖像的顯著值，得到圖像的顯著性區域。結合顯著性區域以及生成的圖像場景圖，根據自定義規則，保留場景圖中反映圖像中心思想的目標以及關系，最終生成面向主題的圖像場景圖。

本發明有益效果如下：

本發明針對圖像的主題保留目標，生成圖像場景圖，解決了現有場景圖中存在主題無關目標的問題。

本發明將主題向量融入關系特征中，為關系預測高層語義特征，使場景圖的目標與關系預測更為準確。

本發明提出的方法是一種測試方法，可以廣泛應用于基于場景圖的下游任務。

附圖說明

圖1是本發明的整體實施方案流程圖

圖2是本發明的圖像主題預測模型示意圖

圖3是本發明的融合圖像主題的場景圖生成示意圖

圖4是本發明的顯著性區域生成示意圖

圖5是本發明的面向主題的場景圖生成示意圖

圖6是本發明的整體結構示意圖

具體實施方式

下面結合附圖對本發明作進一步描述。