[發明專利]基于深度學習的面向圖像的端到端中文古詩詞推薦方法

在審

• 申請號: 202210799035.0
• 申請日: 2022-07-06
• 公開（公告）號: CN115062179A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 吳致遠
• 申請（專利權）人: 吳致遠
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/51;G06F16/9535;G06V30/41;G06V30/18;G06V30/19
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

本發明公開了一種基于深度學習的面向圖像的端到端中文古詩詞推薦方法，本發明首先對圖像和中國傳統古詩詞兩類數據進行自動化分析處理，分別得到圖像和中文古詩詞的特征提取模型，從而針對用戶輸入的圖像，推薦合適的中文古詩詞。與現有的古詩詞推薦方法相比，本發明一方面考慮了中文古詩詞的多標簽假設充分提取了標簽之間的相關性；另一方面現有大部分古詩詞推薦方法先基于圖像特征提取關鍵詞信息然后基于關鍵詞推薦古詩詞，而本發明是基于圖像推薦中文古詩詞的端到端模型框架，直接根據提取的圖像特征推薦中文古詩詞，避免將關鍵詞作為中間結果導致的信息缺失。

技術領域

本發明涉及基于深度學習技術的圖像處理和自然語言處理技術，尤其涉及一種基于深度學習的面向圖像的端到端中文古詩詞推薦方法。

背景技術

在現有基于圖像推薦其他模態數據的問題中，針對輸入圖片，研究人員最初選擇使用中英文文本進行描述。但隨著自然語言處理相關技術的發展，研究人員開始基于圖像推薦較復雜的古典詩歌。

為了解決這個問題，有些研究人員提出利用關鍵詞或簡單的文本描述作為圖像和詩歌之間的橋梁：先對圖像進行解析，并利用現有圖像捕獲(Image Captioning)技術生成描述文本或關鍵詞，然后根據文本或關鍵詞推薦合適的古詩詞。雖然這類方法將原問題分解為了兩個更容易的子問題，但使用中間描述文本會導致信息缺失，限制了方法的預測性能。例如iPoemRec將古典詩歌的常見情感意象映射到同一空間，并分別根據圖像中的景物和詩歌語句中的關鍵詞將圖像和詩歌映射到該空間，從而在該空間計算圖片與詩歌之間的距離。顯然這種只關注局部特征而忽略全局的方法會造成信息的缺失。

還有些方法嘗試不直接推薦現有古典詩歌，而是學習詩歌的風格、語法并基于圖像中的景物生成新的詩歌。首先根據圖像生成現代文描述語句，然后利用遞歸神經網絡將現代文轉化為特定律詩。但由于缺少適用于古典詩歌生成的模型，并且缺乏足量合適的詩詞數據集，生成任務的效果難以直接應用于實際問題。

此外，在學習詩歌的特征提取模型過程中，有些研究人員簡單地假設了詩歌的標簽(情感或意象)是唯一的。而實際上，詩歌中往往蘊含著復雜的情感和復數的意象，同時不同情感之間存在相關性，而意象和情感之間也不是簡單的一一對應關系，即一個樣本能夠同時關聯多個標簽且標簽之間具有相關性。因此詩歌特征提取模型的訓練過程需要利用多標簽學習問題的知識。

發明內容

本發明的目的在于針對現有技術的不足，提供一種基于深度學習的面向圖像的端到端中文古詩詞推薦方法。

本發明的目的是通過以下技術方案來實現的：一種基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，包括以下步驟：

步驟(1)：根據中文古詩詞數據特點，在開源圖像數據的基礎上，進行圖像的增減和標簽空間的調整，并利用調整后的數據集完成圖像特征提取模型的訓練；

步驟(2)：從互聯網收集中文古詩詞構建詩詞數據庫，訓練用于古詩詞特征提取的Bert模型，提取數據庫中詩詞的特征向量；

步驟(3)：輸入圖片，中文古詩詞深度推薦模型推薦合適的古詩。

進一步地，所述步驟(1)包括以下子步驟：

(1.1)在圖像的標簽空間中增加了詩詞的意象和主題，記為Y_item，得到圖像數據訓練集表示如下：

其中，i為圖像的索引，n為圖像總數量，x_i為圖像像素特征，y_i為圖像的分類標簽，并滿足y_i∈Y_e∪Y_item，即y_i屬于原有標簽集合Y_e或新增標簽集合Y_item；