[發(fā)明專利]一種基于圖像的對聯(lián)生成模型及其對聯(lián)生成方法

在審

• 申請?zhí)枺?/td>: 202211453318.6
• 申請日: 2022-11-21
• 公開（公告）號: CN115761739A
• 公開（公告）日: 2023-03-07
• 發(fā)明（設(shè)計）人: 黃旭紅;祝存欣;陳燕毅
• 申請（專利權(quán)）人: 福建工程學(xué)院
• 主分類號: G06V30/10
• 分類號: G06V30/10;G06V30/19;G06V10/74;G06V10/774;G06V10/82;G06F40/30;G06N3/0442;G06N3/08
• 代理公司: 福州君誠知識產(chǎn)權(quán)代理有限公司 35211
• 代理人: 戴雨君

本發(fā)明涉及一種基于圖像的對聯(lián)生成模型及其對聯(lián)生成方法，其依序包括圖像描述生成模塊、橫批詞句生成模塊和對聯(lián)模塊，具體包括以下步驟：S1、獲取圖像訓(xùn)練數(shù)據(jù)集，并將其與圖像訓(xùn)練數(shù)據(jù)集中圖像的對應(yīng)的圖像描述文本一同輸入RNN循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，獲得圖像描述生成模塊；S2、基于圖像描述文本的關(guān)鍵詞提取算法構(gòu)建橫批詞句生成模塊，將圖像描述文本進(jìn)行提取生成“橫批詞句”；S3、獲取圖像訓(xùn)練數(shù)據(jù)中圖像對應(yīng)的對聯(lián)，并將其與“橫批詞句”一同輸入基于Attention機制的Encoder?Decoder編解碼器模型訓(xùn)練，獲得對聯(lián)模塊，采用以上技術(shù)方案只需要通過一張照片、一幅圖像即可生成需要的描述對應(yīng)圖像的對聯(lián)。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機圖像處理領(lǐng)域，具體涉及了一種基于圖像的對聯(lián)生成模型及其對聯(lián)生成方法。

背景技術(shù)

對聯(lián)是中國傳統(tǒng)文化之一，是中國傳統(tǒng)文化的瑰寶。在傳統(tǒng)節(jié)日、慶典開業(yè)等場景對聯(lián)也是人們表達(dá)祝福的常用手段，現(xiàn)有自動對聯(lián)系統(tǒng)需要用戶提供上聯(lián)，系統(tǒng)才自動提供若干下聯(lián)供用戶選擇；但是對于沒有文學(xué)功底的普通人來說，表達(dá)合適文本情感的上聯(lián)并不是一件簡單的事。在日常生活中，人們往往是因為在某個時間段、看到某個場景，想要用一幅合適的對聯(lián)去描述此情此景、此時心境，而不會是想到一個上聯(lián)再想去對下聯(lián)，朋友之間在線聯(lián)絡(luò)或發(fā)表動態(tài)的時候更經(jīng)常用圖片、表情等來表達(dá)情感，如在特定節(jié)日中配圖加對聯(lián)以表達(dá)節(jié)日祝福。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的不足，本發(fā)明提供一種只需要通過一張照片、一幅圖像即可生成需要的描述對應(yīng)圖像的對聯(lián)文本的基于圖像的對聯(lián)生成模型。

本發(fā)明的一種基于圖像的對聯(lián)生成模型，其依序包括圖像描述生成模塊、橫批詞句生成模塊和對聯(lián)模塊，具體包括以下步驟：

S1、獲取圖像訓(xùn)練數(shù)據(jù)集，并將其與圖像訓(xùn)練數(shù)據(jù)集中圖像的對應(yīng)的圖像描述文本一同輸入RNN循環(huán)神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，獲得圖像描述生成模塊；

S2、基于圖像描述文本的關(guān)鍵詞提取算法構(gòu)建橫批詞句生成模塊，將圖像描述文本進(jìn)行提取生成“橫批詞句”；

S3、獲取圖像訓(xùn)練數(shù)據(jù)中圖像對應(yīng)的對聯(lián)，并將其與“橫批詞句”一同輸入基于Attention機制的Encoder-Decoder編解碼器模型訓(xùn)練，獲得對聯(lián)模塊。

進(jìn)一步，所述步驟S1包括：

S11、獲取圖像訓(xùn)練數(shù)據(jù)集；

S12、使用特征提取器將圖像訓(xùn)練數(shù)據(jù)集中的圖像轉(zhuǎn)化為特征向量V_I，其中，I表示輸入圖像訓(xùn)練數(shù)據(jù)集中的圖像；并將圖像提取轉(zhuǎn)化后的特征向量轉(zhuǎn)化固定長度

X_-1＝V_I；

S13、將圖像訓(xùn)練數(shù)據(jù)集中的圖像的對應(yīng)圖像描述文本通過文本編碼的方式轉(zhuǎn)換為與對應(yīng)圖像的特征向量同樣大小維度的圖像描述文本向量

X_t＝WA_t，t∈(1,2,…,N-1)

其中，N表示固定的長度，A_t為將圖像描述文本通過文本編碼方式編碼的第t個詞嵌入向量，W為轉(zhuǎn)化矩陣，X_-1和X_t為同樣維度大小的向量；

S14、建立RNN循環(huán)神經(jīng)網(wǎng)絡(luò)模型，將圖像的特征向量和圖像描述文本向量輸入RNN循環(huán)神經(jīng)網(wǎng)絡(luò)中訓(xùn)練，則

p_t+1＝RNN(X_t)，t∈(1,2,…,N-1)

其中，P_t+1為根據(jù)圖像特征向量和前t個詞嵌入量做為輸入時通過RNN循環(huán)神經(jīng)網(wǎng)絡(luò)預(yù)測第t+1個詞嵌入量的輸出概率；

再通過鏈?zhǔn)角髮?dǎo)的方法求出A_t中各個詞的聯(lián)合概率，則對數(shù)概率和的計算方法為