[發(fā)明專利]一種基于神經(jīng)網(wǎng)絡(luò)模型的圖像到漢語古詩的轉(zhuǎn)換方法

有效

• 申請?zhí)枺?/td>: 201711064401.3
• 申請日: 2017-11-02
• 公開（公告）號: CN107832292B
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計）人: 劉學(xué)亮;洪日昌;汪萌;郝世杰;邢碩
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F16/51;G06N3/04;G06N5/02
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于神經(jīng)網(wǎng)絡(luò)模型的圖像到漢語古詩的轉(zhuǎn)換方法。本發(fā)明包括如下步驟：1收集現(xiàn)有的漢語古詩作為詩集數(shù)據(jù)集；收集圖片資源及與所述圖片資源對應(yīng)的語句描述資源作為圖像數(shù)據(jù)集；2建立多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)并進(jìn)行訓(xùn)練以生成圖像目標(biāo)描述語句；3映射目標(biāo)描述語句為漢語關(guān)鍵詞；4利用長短期記憶網(wǎng)絡(luò)建立漢語古詩生成模型并進(jìn)行訓(xùn)練，從而實現(xiàn)圖像到漢語古詩的轉(zhuǎn)換。本發(fā)明通過計算機(jī)自動將圖片轉(zhuǎn)化成能夠描述圖片的漢語古詩，擺脫主題詞的限制，使得普通使用者通過輸入一幅圖片生成對應(yīng)的漢語古詩，從而能在一定程度上填補(bǔ)我國在機(jī)器“看圖寫詩”領(lǐng)域方面的空缺。

技術(shù)領(lǐng)域

本發(fā)明涉及信息技術(shù)領(lǐng)域，尤其涉及一種基于神經(jīng)網(wǎng)絡(luò)模型的圖像到漢語古詩的轉(zhuǎn)換方法。

背景技術(shù)

中國古詩是人類文學(xué)皇冠上的明珠。我國自《詩經(jīng)》以后，兩千年來的詩篇燦若繁星。讓機(jī)器自動生成詩歌，一直是人工智能領(lǐng)域一個有挑戰(zhàn)性的工作。人類能夠很容易地描述一幅圖像的內(nèi)容，然而這個工作對計算機(jī)來說卻十分困難，這需要計算機(jī)能夠獲取圖像語義水平上的內(nèi)容并且像人類一樣組織并表達(dá)出這些語義信息。

近年來，深度神經(jīng)網(wǎng)絡(luò)火遍了人工智能領(lǐng)域的各個方向，顛覆了語音識別、圖像分類、文本理解等眾多領(lǐng)域的算法設(shè)計思路。借助于深度神經(jīng)網(wǎng)絡(luò)，機(jī)器可以越來越像人類，計算機(jī)開始能夠理解更高層次的圖像內(nèi)容和文本序列。機(jī)器自動生成漢語古詩和圖像描述取得了一些新的進(jìn)展。

然而，當(dāng)前依主題詞指定方式為基礎(chǔ)的古詩生成方法具有很大的局限性，這種方式對主題詞的選擇要求較高，只有主題詞選的合理，生成的古詩才更合理，這會對很多普通使用者造成障礙；而且這種方式被一些專家制定的規(guī)則和模式嚴(yán)格地約束，句子之間缺乏連貫性，生成的目標(biāo)詩句也過于死板，缺乏靈活性。當(dāng)前在圖片描述的自動生成中僅以簡單的白話句式來捕捉圖片內(nèi)容進(jìn)行描述，生成的描述語句單調(diào)，缺乏靈活性。

發(fā)明內(nèi)容

本發(fā)明為解決現(xiàn)有技術(shù)中存在的不足之處，提供一種基于神經(jīng)網(wǎng)絡(luò)模型的圖像到漢語古詩的轉(zhuǎn)換方法，以期能通過計算機(jī)自動將圖片轉(zhuǎn)化成能夠描述圖片的漢語古詩，擺脫主題詞的限制，使得普通使用者通過輸入一幅圖片生成漢語古詩，從而能在一定程度上填補(bǔ)我國在機(jī)器“看圖寫詩”領(lǐng)域方面的空缺。

為解決以上技術(shù)問題，本發(fā)明采用如下技術(shù)方案：

本發(fā)明一種基于神經(jīng)網(wǎng)絡(luò)模型的圖像到漢語古詩的轉(zhuǎn)換方法的特點包括如下步驟：

步驟1、收集現(xiàn)有的漢語古詩作為詩集數(shù)據(jù)集Q＝{q₁,q₂,...,q_i,...,q_n}，q_i表示第i首漢語古詩，并有表示所述第i首漢語古詩中第v個字符，i＝1,2,…,n，v＝1,2,...,V_i；

獲取圖片資源以及與所述圖片資源對應(yīng)的語句描述資源作為圖像數(shù)據(jù)集T＝{(I₁,s₁),(I₂,s₂),...,(I_j,s_j),....,(I_m,s_m)}；其中，I_j表示第j張圖片，s_j表示所述第j張圖片對應(yīng)的語句描述，并有：表示所述第j張圖片對應(yīng)的語句描述中第z個字符，j＝1,2,…,m，z＝1,2,…,Z_j；

步驟2、建立多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)，所述多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)由深度卷積神經(jīng)網(wǎng)絡(luò)CNN和長短期記憶網(wǎng)絡(luò)LSTM組成，并對所述多模態(tài)循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到圖片最終的目標(biāo)描述語句；

步驟2.1、利用式(1)所示的深度卷積神經(jīng)網(wǎng)絡(luò)CNN將第j張圖片I_j映射到向量空間W中，從而得到第j張圖片I_j的向量x_j′：