[發明專利]一種基于手繪圖序列的故事生成方法、存儲介質

在審

• 申請號: 202210981216.5
• 申請日: 2022-08-16
• 公開（公告）號: CN115311385A
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 周宇成
• 申請（專利權）人: 悉科大創新研究（深圳）有限公司
• 主分類號: G06T11/20
• 分類號: G06T11/20;G06V10/764;G06V10/75;G06V10/82;G06T7/70;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供一種基于手繪圖序列的故事生成方法、存儲介質，方法包括：預設包括多個模板和多個學習目標的多任務訓練模型；獲取自然場景圖像數據集對應的手繪圖數據集；依據多個學習目標，加載包括隨機采集的自然場景圖像序列及其對應的手繪圖序列和事實性描述序列，以及從故事語料庫中隨機采集得到的一個故事的訓練數據集；依據各個學習目標，分別從訓練數據集中選取所需的訓練數據，使用相應的模板進行多任務訓練，直至收斂，得到故事生成模型；輸入一手繪圖序列至故事生成模型，輸出與其相對應的故事。本發明能夠有效地緩解現有手繪圖序列故事生成技術對監督數據的依賴，且具有易于實現、具有可控性以及應用廣泛等特點。

技術領域

本發明涉及人工智能技術領域，特別涉及一種基于手繪圖序列的故事生成方法、存儲介質。

背景技術

基于手繪圖序列生成故事是跨視覺和語言模態的重要任務之一，其旨在根據給定的手繪圖序列自動地生成故事。目前大多數方法都是關注于生成自然場景圖像的事實性描述，即圖像字幕任務。這些方法都是基于編碼器-解碼器架構，即使用編碼器對圖像進行編碼得到深度的視覺特征，再使用解碼器把該視覺特征解碼為自然語言。為了能夠生成其他風格的描述，一些方法改進了解碼器，將風格整合到解碼過程中。但是這些方法十分依賴于配對的圖像和風格化字幕數據，而標注這種配對的數據需要高昂的費用。因為獲取這些配對的數據的成本很高，所以一些方法提出一些規則化的方法來擺脫配對數據的限制。但是這些方法仍然是依賴于成對的語義術語和風格化的字幕數據。為了擺脫標注數據的限制，無監督圖像字幕方法可以在沒有任何配對圖像字幕數據的情況下實現了圖像到字幕的映射。然而，無監督方法的性能仍然不能令人滿意。此外，目前大多數現有的圖像字幕模型只專注于描述自然場景圖像，但是圖像字幕技術在兒童教育和繪畫治療中應用時，需要理解一些人類的手繪圖，而目前沒有任何配對的手繪圖和故事數據，且數據獲取成本很高。

因此，針對以上的不足，本發明提供了一種基于手繪圖序列的故事生成方法、存儲介質，以求解決上述技術問題。

發明內容

本發明所要解決的技術問題是：本發明提供一種基于手繪圖序列的故事生成方法、存儲介質，具有易于實現、低成本且準確率高等特點。

為了解決上述技術問題，本發明采用的技術方案為：

一種基于手繪圖序列的故事生成方法，包括：

S1：預設包括Matching模板、Caption模板、Story模板以及多個學習目標的多任務訓練模型；

S2：依據自然場景圖像數據集，獲取對應的手繪圖數據集；

S3：依據所述多個學習目標，加載包括自然場景圖像數據集中隨機采集得到的自然場景圖像序列、所述自然場景圖像序列對應的手繪圖序列和事實性描述序列，以及從故事語料庫中隨機采集得到的一個故事的訓練數據集；

S4：依據各個學習目標，分別從所述訓練數據集中選取所需的訓練數據，使用相應的模板進行多任務訓練；返回執行所述S3步驟，直至所述多任務訓練模型收斂，得到故事生成模型；

S5：輸入一手繪圖序列至所述故事生成模型，輸出與其相對應的故事。

進一步地，所述多個的學習目標包括：

第一學習目標：自然場景圖像與手繪圖像的匹配；

第二學習目標：事實性描述序列重建；

第三學習目標：故事重建；

第四學習目標：依據自然場景圖像序列生成對應的事實性描述；

第五學習目標：依據手繪圖序列生成對應的事實性描述。

第六個學習目標：鑒別器區分原本的故事和生成的故事；

第七個學習目標：依據手繪圖序列生成故事。