[發(fā)明專利]一種基于圖片的文本生成方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010389908.1
• 申請(qǐng)日: 2020-05-11
• 公開(kāi)（公告）號(hào): CN111310867B
• 公開(kāi)（公告）日: 2020-09-01
• 發(fā)明（設(shè)計(jì)）人: 李長(zhǎng)亮;樊駿鋒;汪美玲
• 申請(qǐng)（專利權(quán)）人: 北京金山數(shù)字娛樂(lè)科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06T11/60;G06F16/55;G06N3/04
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 王治東

1.一種基于圖片的文本生成方法，其特征在于，包括：

確定至少一個(gè)目標(biāo)垂直領(lǐng)域，根據(jù)待編輯圖片對(duì)應(yīng)所屬的目標(biāo)垂直領(lǐng)域獲取所述待編輯圖片對(duì)應(yīng)的圖片內(nèi)容信息和所述待編輯圖片對(duì)應(yīng)的圖片分類信息；

根據(jù)所述待編輯圖片對(duì)應(yīng)的圖片內(nèi)容信息和所述待編輯圖片對(duì)應(yīng)的圖片分類信息，生成所述待編輯圖片對(duì)應(yīng)的圖片準(zhǔn)確信息；

根據(jù)所述待編輯圖片對(duì)應(yīng)的圖片準(zhǔn)確信息，通過(guò)訓(xùn)練得到的文本生成模型生成所述待編輯圖片對(duì)應(yīng)的圖片編輯文本；

其中，根據(jù)待編輯圖片對(duì)應(yīng)所屬的目標(biāo)垂直領(lǐng)域獲取所述待編輯圖片對(duì)應(yīng)的圖片分類信息，包括：

通過(guò)訓(xùn)練得到的圖片領(lǐng)域分類模型對(duì)所述待編輯圖片進(jìn)行領(lǐng)域分類，得到所述待編輯圖片所屬的目標(biāo)垂直領(lǐng)域；

基于所述待編輯圖片對(duì)應(yīng)的目標(biāo)垂直領(lǐng)域，通過(guò)訓(xùn)練得到的圖片場(chǎng)景分類模型對(duì)所述待編輯圖片進(jìn)行場(chǎng)景分類，得到所述待編輯圖片所屬的圖片場(chǎng)景；

根據(jù)所述待編輯圖片所屬的目標(biāo)垂直領(lǐng)域與所述待編輯圖片所屬的圖片場(chǎng)景，構(gòu)建所述待編輯圖片在所屬的目標(biāo)垂直領(lǐng)域內(nèi)對(duì)應(yīng)的圖片分類信息；

其中，根據(jù)待編輯圖片對(duì)應(yīng)所屬的目標(biāo)垂直領(lǐng)域獲取所述待編輯圖片對(duì)應(yīng)的圖片內(nèi)容信息，包括：

通過(guò)訓(xùn)練得到的目標(biāo)識(shí)別模型對(duì)所述待編輯圖片進(jìn)行目標(biāo)檢測(cè)，得到所述待編輯圖片在所屬的目標(biāo)垂直領(lǐng)域中對(duì)應(yīng)的目標(biāo)識(shí)別信息；

將所述待編輯圖片對(duì)應(yīng)的目標(biāo)識(shí)別信息在預(yù)設(shè)的知識(shí)數(shù)據(jù)庫(kù)中進(jìn)行匹配，獲取所述待編輯圖片對(duì)應(yīng)的目標(biāo)知識(shí)信息；

根據(jù)所述待編輯圖片對(duì)應(yīng)的目標(biāo)識(shí)別信息和所述待編輯圖片對(duì)應(yīng)的目標(biāo)知識(shí)信息，生成所述待編輯圖片對(duì)應(yīng)的圖片內(nèi)容信息；

其中，所述文本生成模型通過(guò)以下方法訓(xùn)練：

獲取文本生成訓(xùn)練樣本和對(duì)應(yīng)的文本生成訓(xùn)練標(biāo)簽，其中，所述文本生成訓(xùn)練樣本包括候選文檔類型對(duì)應(yīng)的文本結(jié)構(gòu)化數(shù)據(jù)，所述文本生成訓(xùn)練標(biāo)簽包括所述文本結(jié)構(gòu)化數(shù)據(jù)對(duì)應(yīng)的類別標(biāo)注；

通過(guò)所述文本生成訓(xùn)練樣本和對(duì)應(yīng)的文本生成訓(xùn)練標(biāo)簽對(duì)文本生成模型進(jìn)行訓(xùn)練，根據(jù)所述文本生成模型的損失值調(diào)整文本生成模型的參數(shù)直至滿足訓(xùn)練終止條件。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，根據(jù)所述待編輯圖片對(duì)應(yīng)的圖片準(zhǔn)確信息，通過(guò)訓(xùn)練得到的文本生成模型生成所述待編輯圖片對(duì)應(yīng)的圖片編輯文本，包括：

從至少一個(gè)候選文檔類型中確定目標(biāo)文檔類型，將所述待編輯圖片對(duì)應(yīng)的圖片準(zhǔn)確信息輸入所述目標(biāo)文檔類型對(duì)應(yīng)的文本生成模型中，得到所述待編輯圖片對(duì)應(yīng)的圖片編輯文本。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，在通過(guò)訓(xùn)練得到的文本生成模型生成所述待編輯圖片對(duì)應(yīng)的圖片編輯文本之后，還包括：

將所述待編輯圖片對(duì)應(yīng)的圖片編輯文本以及所述待編輯圖片對(duì)應(yīng)的圖片準(zhǔn)確信息輸出至用戶。