[發明專利]一種基于圖片的文本生成方法及裝置

有效

• 申請號: 202010389908.1
• 申請日: 2020-05-11
• 公開（公告）號: CN111310867B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 李長亮;樊駿鋒;汪美玲
• 申請（專利權）人: 北京金山數字娛樂科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06T11/60;G06F16/55;G06N3/04
• 代理公司: 北京智信禾專利代理有限公司 11637
• 代理人: 王治東

本申請提一種基于圖片的文本生成方法及裝置，其中，所述方法包括：確定至少一個目標垂直領域，根據待編輯圖片對應所屬的目標垂直領域獲取所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息；根據所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息，生成所述待編輯圖片對應的圖片準確信息；根據所述待編輯圖片對應的圖片準確信息，通過本申請所述的文本生成模型生成所述待編輯圖片對應的圖片編輯文本。本申請通過針對目標垂直領域獲取待編輯圖片對應的圖片準確信息，結合目標垂直領域編輯出具有專業性參考價值的圖片編輯文本，從而輔助用戶高效且準確的完成所在領域的專業文檔編輯撰寫工作。

技術領域

本申請涉及人工智能技術領域，特別涉及一種基于圖片的文本生成方法、裝置、計算設備及計算機可讀存儲介質。

背景技術

用戶在進行寫作等文章創作工作時，例如新聞類寫作，需要將現場拍攝的圖片信息轉換為文字，該過程對用戶在觀察能力和先驗知識要求較高，如果不能夠準確識別圖片中圖片信息，就會出現用戶對于圖片的認識錯誤，并且會影響文章表述的準確性和寫作效率。在現有技術中，將圖片信息轉換為文字的主要方式包括人工描述和開放域的圖片識別及文字轉換，其中，人工描述是指用戶通過觀察圖片從而對圖片內容進行人工編輯，開放域的圖片識別及文字轉換是指通過對圖片進行目標檢測，將圖片中內容羅列供用戶使用，然而，現有技術存在的問題在于，對于人工描述需要要求用戶具有大量的專業知識，準確性難以保證，而開放域的圖片識別及文字轉換僅僅是將目標進行簡單羅列，無法針對某個垂直領域，返回準確的圖片信息，同時由于返回的文本內容為圖片中目標名稱的簡單羅列，無法供用戶直接使用且效率較低。

發明內容

有鑒于此，本申請實施例提供了一種基于圖片的文本生成方法、裝置、計算設備及計算機可讀存儲介質，以解決現有技術中存在的技術缺陷。

根據本說明書實施例的第一方面，提供了一種基于圖片的文本生成方法，包括：

確定至少一個目標垂直領域，根據待編輯圖片對應所屬的目標垂直領域獲取所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息；

根據所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息，生成所述待編輯圖片對應的圖片準確信息；

根據所述待編輯圖片對應的圖片準確信息，通過訓練得到的文本生成模型生成所述待編輯圖片對應的圖片編輯文本。

根據本說明書實施例的第二方面，提供了一種基于圖片的文本生成方法，包括：

確定至少一個目標垂直領域，根據待編輯圖片對應所屬的目標垂直領域獲取所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息；

根據所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息，生成所述待編輯圖片對應的圖片準確信息；

根據所述待編輯圖片對應的圖片準確信息，通過預設的中文模板庫生成所述待編輯圖片對應的圖片編輯文本。

根據本說明書實施例的第三層方面，提供了一種基于圖片的文本生成裝置，包括：

第三信息獲取模塊，被配置為確定至少一個目標垂直領域，根據待編輯圖片對應所屬的目標垂直領域獲取所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息；

第二準確信息構建模塊，被配置為根據所述待編輯圖片對應的圖片內容信息和所述待編輯圖片對應的圖片分類信息，生成所述待編輯圖片對應的圖片準確信息

第一文本生成模塊，被配置為根據所述待編輯圖片對應的圖片準確信息，通過訓練得到的文本生成模型生成所述待編輯圖片對應的圖片編輯文本。

根據本說明書實施例的第四方面，提供了一種基于圖片的文本生成裝置，包括：