[發明專利]一種基于手繪圖序列的故事生成方法、存儲介質

在審

• 申請號: 202210981216.5
• 申請日: 2022-08-16
• 公開（公告）號: CN115311385A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 周宇成
• 申請（專利權）人: 悉科大創新研究（深圳）有限公司
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06V10/764;G06V10/75;G06V10/82;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于手繪圖序列的故事生成方法，其特征在于，包括：

S1：預設包括Matching模板、Caption模板、Story模板以及多個學習目標的多任務訓練模型；

S2：依據自然場景圖像數據集，獲取對應的手繪圖數據集；

S3：依據所述多個學習目標，加載包括自然場景圖像數據集中隨機采集得到的自然場景圖像序列、所述自然場景圖像序列對應的手繪圖序列和事實性描述序列，以及從故事語料庫中隨機采集得到的一個故事的訓練數據集；

S4：依據各個學習目標，分別從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行多任務訓練；返回執行所述S3步驟，直至所述多任務訓練模型收斂，得到故事生成模型；

S5：輸入一手繪圖序列至所述故事生成模型，輸出與其相對應的故事。

2.如權利要求1所述的一種基于手繪圖序列的故事生成方法，其特征在于，所述多個學習目標包括：

第一學習目標：自然場景圖像與手繪圖像的匹配；

第二學習目標：事實性描述序列重建；

第三學習目標：故事重建；

第四學習目標：依據自然場景圖像序列生成對應的事實性描述；

第五學習目標：依據手繪圖序列生成對應的事實性描述。

第六個學習目標：鑒別器區分原本的故事和生成的故事；

第七個學習目標：依據手繪圖序列生成故事。

3.如權利要求2所述的一種基于手繪圖序列的故事生成方法，其特征在于，所述S4步驟中依據第一學習目標，從訓練數據集中選取所需的訓練數據，使用相應的模板進行訓練，包括：

依據所述第一學習目標，從所述訓練數據集中選取自然場景圖像序列及其對應的手繪圖序列；

分別提取所述自然場景圖像序列對應的自然場景圖像特征序列，以及所述手繪圖序列對應的手繪圖特征序列；

將所述自然場景圖像特征序列和所述手繪圖特征序列組合作為訓練正樣本，將所述自然場景圖像特征序列和從手繪圖數據集中隨機采集的隨機手繪圖序列對應的隨機手繪圖特征序列作為訓練負樣本，使用Matching模板進行訓練；其中，所述手繪圖序列與所述隨機手繪圖序列不重疊。

4.如權利要求2所述的一種基于手繪圖序列的故事生成方法，其特征在于，所述S4步驟中依據第二學習目標，從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行訓練，包括：

依據所述第二學習目標，從所述訓練數據集中選取事實性描述序列，對其進行隨機Mask處理后組合輸入到所述多任務訓練模型中，使用Caption模板預測被Mask部分內容；

所述S4步驟中依據第三學習目標，從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行訓練，包括：

依據所述第三學習目標，從所述訓練數據集中選取故事；

對所選取的故事進行隨機Mask處理后輸入到所述多任務訓練模型中，使用Story模板預測被Mask部分內容。

5.如權利要求2所述的一種基于手繪圖序列的故事生成方法，其特征在于，所述S4步驟中依據第四學習目標，從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行訓練，包括：

依據所述第四學習目標，從所述訓練數據集中選取自然場景圖像，提取其對應的自然場景圖像特征序列；

將所提取的自然場景圖像特征序列輸入到所述多任務訓練模型中，使用Caption模板進行訓練，輸出對應的事實性描述。

6.如權利要求2所述的一種基于手繪圖序列的故事生成方法，其特征在于，所述S4步驟中依據第五學習目標，從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行訓練，包括：

依據所述第五學習目標，從所述訓練數據集中選取手繪圖序列，提取其對應的手繪圖特征序列；

將所提取的手繪圖特征序列輸入到所述多任務訓練模型中，使用Caption模板進行訓練，輸出對應的事實性描述。