[發(fā)明專利]基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011451526.3
• 申請(qǐng)日: 2020-12-09
• 公開（公告）號(hào): CN112560458A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 劉暢;羅學(xué)優(yōu)
• 申請(qǐng)（專利權(quán)）人: 杭州艾耕科技有限公司
• 主分類號(hào): G06F40/258
• 分類號(hào): G06F40/258;G06F40/289;G06F16/34;G06F16/35
• 代理公司: 杭州天昊專利代理事務(wù)所(特殊普通合伙) 33283
• 代理人: 何碧珩;卓彩霞

1.基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法，其特征是，包括以下步驟：

(1)將文章正文輸入文章品類分類模型，得到文章品類；將文章分割成小段，利用意圖分類模型，預(yù)測(cè)文章意圖；根據(jù)文章品類和文章意圖，從該文章品類下的熱門的標(biāo)題意圖組合中，優(yōu)先選取由文章意圖組成的標(biāo)題意圖組合；

(2)對(duì)文章正文進(jìn)行分詞，選取摘要，得到正文摘要；

(3)將正文摘要、文章品類、標(biāo)題意圖組合拼接后得到輸入數(shù)據(jù)，將其輸入到端到端標(biāo)題生成模型，得到文章標(biāo)題。

2.根據(jù)權(quán)利要求1所述的基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法，其特征是，所述端到端標(biāo)題生成模型的構(gòu)建包括數(shù)據(jù)集建立與模型訓(xùn)練，所述數(shù)據(jù)集建立與模型訓(xùn)練包括以下步驟：

(1.1)搜集垂直領(lǐng)域的文章語(yǔ)料；

(1.2)由垂直領(lǐng)域?qū)＜覍?duì)步驟(1.1)得到的文章語(yǔ)料中的文章進(jìn)行歸類，得到文章品類；選取一定量的文章，得到文章數(shù)據(jù)集{A₁，A₂，A₃……A_i……A_n}，n為文章數(shù)量，A_i表示第i篇文章，1≤i≤n；對(duì)文章進(jìn)行分類標(biāo)注得到文章品類數(shù)據(jù)集{C₁，C₂，C₃……C_i……C_n}，其中C_i是A_i的文章品類，訓(xùn)練bert模型得到文章品類分類模型；

(1.3)對(duì)文章標(biāo)題按照標(biāo)點(diǎn)符號(hào)分割成小段，得到小段標(biāo)題數(shù)據(jù)集{T₁，T₂，T₃……T_t……T_m},T_t表示第t小段標(biāo)題，m為小段標(biāo)題數(shù)量，1≤t≤m，對(duì)每個(gè)小段進(jìn)行意圖分類，標(biāo)注得到標(biāo)題意圖數(shù)據(jù)集{M₁，M₂，M₃……M_t……M_m}，其中，M_t＝{I₁，I₂，I₃……I_t……I_kt}為第t個(gè)小段標(biāo)題對(duì)應(yīng)的意圖，其中，k_t為第t個(gè)小段標(biāo)題的意圖數(shù)量，k_t為非0的自然數(shù)，訓(xùn)練bert模型得到意圖分類模型；

(1.4)處理全量文章語(yǔ)料：利用步驟(1.2)和(1.3)得到的模型預(yù)測(cè)文章品類和標(biāo)題意圖組合；對(duì)文章正文和文章標(biāo)題進(jìn)行分詞，選取正文摘要，將文章品類、標(biāo)題意圖組合和正文摘要拼接后作為輸入，將分詞后的標(biāo)題作為預(yù)測(cè)目標(biāo)，訓(xùn)練transformer模型得到端到端標(biāo)題生成模型。

3.根據(jù)權(quán)利要求2所述的基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法，其特征是，根據(jù)步驟(1.4)中得到的文章品類和標(biāo)題意圖組合，將標(biāo)題意圖組合按照文章品類歸類，并根據(jù)文章在網(wǎng)絡(luò)上的閱讀量進(jìn)行排序，得到每個(gè)文章品類下熱門的標(biāo)題意圖組合。

4.根據(jù)權(quán)利要求3所述的基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法，其特征是，步驟(1)具體為：將文章正文輸入所述步驟(1.2)中的文章品類分類模型，對(duì)文章正文預(yù)測(cè)得到文章品類，將文章正文按照標(biāo)點(diǎn)符號(hào)分割成小段，利用所述步驟(1.3)中的意圖分類模型，預(yù)測(cè)文章意圖，根據(jù)文章品類和文章意圖，從對(duì)應(yīng)文章品類下的熱門的標(biāo)題意圖組合，優(yōu)先選取由文章意圖組成的標(biāo)題意圖組合；也就是說(shuō)：計(jì)算熱門的標(biāo)題意圖組合屬于文章意圖的意圖比例，然后選擇意圖比例高的意圖組合作為標(biāo)題意圖組合。

5.根據(jù)權(quán)利要求1所述的基于端到端深度學(xué)習(xí)模型的文章標(biāo)題生成方法，其特征是，步驟(2)具體為：使用sentencepiece分詞工具對(duì)文章正文進(jìn)行分詞，計(jì)算文章單詞總數(shù)，如果不超過(guò)500，將整篇正文作為摘要，如果超過(guò)500，則選取文章開頭400個(gè)單詞和結(jié)尾的100個(gè)單詞組成正文摘要。