[發明專利]一種知識圖譜指導的多張場景圖像生成方法

在審

• 申請號: 202011434422.1
• 申請日: 2020-12-10
• 公開（公告）號: CN112612900A
• 公開（公告）日: 2021-04-06
• 發明（設計）人: 肖賀文;孔雨秋;劉秀平;尹寶才
• 申請（專利權）人: 大連理工大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06N3/04;G06N3/08;G06N5/02
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 劉秋彤;梅洪玉

1.一種知識圖譜指導的多張場景圖像生成方法，其特征在于，步驟包括：

步驟S1：以(頭實體、關系、尾實體)的形式，提取所需的三元組，整合成為一個知識圖譜；

步驟S2：將一組物體標簽輸入布局搜索模塊，得到多張符合事實的布局關系圖；

步驟S3：將每張布局關系圖輸入預訓練好的知識模塊中，得到物體知識矩陣與全局知識向量；

步驟S4：在生成器中加入物體知識矩陣與全局知識向量；

步驟S5：在鑒別器中加入物體知識矩陣與全局知識向量；

步驟S6：根據整體的損失函數交替訓練生成器與鑒別器，在保證整張圖像的生成質量的同時，也保證物體圖像切片復合標簽對應的類別；所得的生成器即為完成布局關系圖到場景圖像生成的工具。

2.根據權利要求1所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，所述步驟S2具體為：

步驟S21：將一組物體標簽輸入步驟S1構建的知識圖譜中進行圖譜搜索，搜索出所有包含輸入標簽之間關系的三元組，并根據出現的頻率對搜索到的三元組進行排序；

步驟S22：根據參數設置，選擇需要的三元組數量組成最可能的布局關系圖，同時以隨機組合的方式生成其他多張不同的布局關系圖。

3.根據權利要求1或2所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，所述步驟S3具體為：

步驟S31：利用知識表示方法KG2E對步驟S1構建知識圖譜進行預訓練，用不同的高斯分布來代表圖譜內所有物體與關系對應的知識表示；

步驟S32：將步驟S2得到的布局關系圖進行數據處理，分解成圖內物體標簽與圖內關系標簽；

步驟S33：輸入圖內物體標簽與圖內關系標簽，從預訓練好的物體與關系的KG2E知識表示中采樣，得到物體知識矩陣與關系知識矩陣；

步驟S34：將物體知識矩陣與關系知識矩陣加和稱為全局知識矩陣，經過全連接層生成全局知識向量，代表整個布局關系圖從圖譜中提取到的知識信息。

4.根據權利要求3所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，所述步驟S4具體為：

步驟S41：將分解得到的圖內物體標簽與圖內關系標簽進行初始化嵌入，得到物體初始矩陣與關系初始矩陣；

步驟S42：將物體、關系的初始矩陣輸入5層深度的圖卷積網絡中，分別得到物體更新矩陣、關系更新矩陣；

步驟S43：將知識模塊中輸出的物體知識矩陣與物體更新矩陣連接到一起，得到物體預測矩陣；

步驟S44：物體預測矩陣經過多層感知機1生成物體邊框位置的數值，經過多層感知機2生成物體形狀掩膜，物體邊框位置、物體形狀掩膜再經過映射組合，生成場景布局張量；

步驟S45：將知識模塊中輸出的全局知識向量自動擴充與圖片大小相同的維度，并與場景布局張量連接到一起，輸入級聯生成網絡中，生成場景圖像。

5.根據權利要求4所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，所述步驟S5具體為：

步驟S51：對圖像中的不同物體進行鑒別時，將場景圖像經過數據處理后得到的物體圖像切片與知識模塊輸出的物體知識矩陣同時輸入卷積神經網絡1中，得到物體圖像切片的真假評分與物體類別預測；

步驟S52：對整張圖像進行鑒別時，將場景圖像與知識模塊輸出的全局知識向量同時輸入卷積神經網絡2中，得到圖像的真假評分。

6.根據權利要求4所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，多層感知機1是由全連接層、Relu層、全連接層組成，多層感知機2由上采樣層、BN層、卷據層、Relu層按順序堆疊4次組成。

7.根據權利要求5所述的一種知識圖譜指導的多張場景圖像生成方法，其特征在于，卷積神經網絡1的結構為卷積層、BN層、Relu層、卷積層、BN層、Relu層、卷積層、平均池化層、全連接層；卷積神經網絡2的結構為卷積層、BN層、Relu層、卷積層、BN層、Relu層、卷積層。