[發明專利]基于深度學習的面向圖像的端到端中文古詩詞推薦方法

在審

• 申請號: 202210799035.0
• 申請日: 2022-07-06
• 公開（公告）號: CN115062179A
• 公開（公告）日: 2022-09-16
• 發明（設計）人: 吳致遠
• 申請（專利權）人: 吳致遠
• 主分類號: G06F16/583
• 分類號: G06F16/583;G06F16/51;G06F16/9535;G06V30/41;G06V30/18;G06V30/19
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，包括以下步驟：

步驟(1)：根據中文古詩詞數據特點，在開源圖像數據的基礎上，進行圖像的增減和標簽空間的調整，并利用調整后的數據集完成圖像特征提取模型的訓練；

步驟(2)：從互聯網收集中文古詩詞構建詩詞數據庫，訓練用于古詩詞特征提取的Bert模型，提取數據庫中詩詞的特征向量；

步驟(3)：輸入圖片，中文古詩詞深度推薦模型推薦合適的古詩。

2.根據權利要求1所述基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，所述步驟(1)包括以下子步驟：

(1.1)在圖像的標簽空間中增加了詩詞的意象和主題，記為Y_item，得到圖像數據訓練集表示如下：

其中，i為圖像的索引，n為圖像總數量，x_i為圖像像素特征，y_i為圖像的分類標簽，并滿足y_i∈Y_e∪Y_item，即y_i屬于原有標簽集合Y_e或新增標簽集合Y_item；

(1.2)利用圖像數據訓練集訓練神經網絡，訓練損失為均方誤差，優化策略為梯度下降，損失函數表示如下：

其中，x_i表示從訓練集輸入的圖片，l_i表示圖片對應的標簽向量，F₁表示用于圖像標簽預測的神經網絡，||·||₂是向量的L2范數，Ω(F₁)表示神經網絡的正則項，用于控制模型復雜度；將神經網絡F₁最后幾層線性映射層丟棄，即獲得圖像特征提取模型，記為F₁′。

3.根據權利要求2所述基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，所述步驟(2)包括以下子步驟：

(2.1)收集中文古詩詞；

(2.2)利用標簽間的低秩假設提取標簽和隱層特征間的相關性，矩陣的低秩假設通過最小化矩陣的奇異值之和進行近似；模型Bert的訓練損失可以表示如下：

其中，m表示古詩詞總數量，x′_j表示輸入的某個古詩詞，l′_j表示詩詞對應的標簽向量，F₂表示用于詩詞標簽預測的Bert模型，Ω(F₂)表示Bert的正則項，用于控制模型復雜度，F₂(X′)表示所有古詩詞的預測標簽矩陣，||·||_*是核范數，用于計算矩陣奇異值之和；將Bert模型F₂最后幾層線性映射層丟棄，即獲得中文古詩詞特征提取模型，記為F₂′；

(2.3)確保圖像特征提取模型F₁′和中文古詩詞特征提取模型F₂′提取到的特征維度相同，將F₁′和F₂′結合相同線性映射模型，最后利用和交替優化圖像特征提取模型F₁′和中文古詩詞特征提取模型F₂′。

4.根據權利要求3所述基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，所述利用和交替優化圖像特征提取模型F₁′和中文古詩詞特征提取模型F₂′具體為，

(a)固定F₁′和F₂′，根據圖像數據和中文古詩詞數據，分別用和計算線性映射模型參數的梯度并更新；

(b)固定線性映射層，根據圖像數據和中文古詩詞數據，分別用和計算特征提取模型F₁′和F₂′的參數的梯度并更新；

(c)利用F₂′提取詩詞庫中所有詩詞的特征，生成對應特征向量，記第j首詩詞的特征向量p_j，所有特征向量組成的矩陣為P。

5.根據權利要求4所述基于深度學習的面向圖像的端到端中文古詩詞推薦方法，其特征在于，所述步驟(3)具體為：針對用戶輸入的圖像，利用圖像特征提取模型F₁′提取輸入圖像的特征,記特征向量為F₁′(x)，同時計算；已知模型F₁′和F₂′提取的特征在同一特征空間中，即F₁′(x)與P位于同一特征空間，直接用該特征空間內的歐氏距離衡量輸入圖像與詩詞的距離，并選擇最鄰近詩詞進行推薦，即求解以下最小化問題，

其中，詩詞的索引j滿足1≤j≤m，m表示古詩詞總數量，表示返回使式子最小化時j的取值，p_j是第j首詩詞的特征向量，||·||₂是向量的L2范數。