[發明專利]一種圖像配文方法、存儲介質及終端設備

在審

• 申請號: 202011568927.7
• 申請日: 2020-12-25
• 公開（公告）號: CN114693839A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 鐘高高;翟潤熙;林海石;李啟明;張瑤
• 申請（專利權）人: TCL科技集團股份有限公司
• 主分類號: G06T11/60
• 分類號: G06T11/60;G06V20/00;G06V10/44;G06V10/46;G06V10/764;G06V10/82;G06K9/62;G06F16/55;G06F16/583;G06N3/04;G06N3/08;G06N20/00
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 溫宏梅

1.一種圖像配文方法，其特征在于，所述方法包括：

獲取待配文圖像對應的若干描述語句，以及各描述語句各自對應的第一情感信息；

獲取待配文圖像對應的第二情感信息；

基于若干描述語句、若干描述語句中的各描述語句各自對應的第一情感信息以及所述第二情感信息，確定所述待配文圖像對應的配文信息。

2.根據權利要求1所述圖像配文方法，其特征在于，所述基于若干描述語句、若干描述語句中的各描述語句各自對應的第一情感信息以及所述第二情感信息，確定所述待配文圖像對應的配文信息具體包括：

對于每個描述語句，確定該描述語句配置的第一情感信息與所述第二情感信息的匹配度；

基于各第一情感信息各自對應的匹配度，確定所述待配文圖像對應的配文信息。

3.根據權利要求2所述圖像配文方法，其特征在于，所述基于各第一情感信息各自對應的匹配度，確定所述待配文圖像對應的配文信息具體包括：

將各第一情感信息各自對應的匹配度分別作為各第一情感信息各自對應的描述語句對應的匹配度；

基于匹配度在若干描述語句中選取目標描述語句，其中，所述目標描述語句為所述若干描述語句中的一個描述語句，并且所述目標描述語句對應的匹配度大于若干描述語句中除所述目標描述語句外的任一描述語句對應的匹配度。

4.根據權利要求1所述圖像配文方法，其特征在于，所述獲取待配文圖像對應的若干描述語句，以及各描述語句各自對應的第一情感信息具體包括：

將所述待配文圖像輸入經過訓練的語句預測模型；

通過所述語句預測模型確定所述待配文圖像對應的若干描述語句以及各描述語句各自對應的第一情感信息。

5.根據權利要求4所述圖像配文方法，其特征在于，所述語句預測模型配置若干默認情感以及若干預設描述語句，所述通過所述語句預測模型確定所述待配文圖像對應的若干描述語句以及各描述語句各自對應的第一情感信息具體包括：

通過所述語句預測模型確定所述待配文圖像對應的若干圖像組以及若干圖像組中的每個圖像組各自對應的評價分數，其中，每個圖像組均包括所述待配文圖像、若干默認情感中的一默認情感以及若干預設描述語句中的一預設描述語句；

基于各圖像組以及各圖像組各自對應的評價分數，確定所述待配文圖像對應的圖像組集；

對于所述圖像組集中的每個目標圖像組，將該目標圖像組包括的預設描述語句作為待配文圖像對應的描述語句，將該目標圖像組包括的作為該描述語句對應的第一情感信息。

6.根據權利要求5所述圖像配文方法，其特征在于，對于若干圖像組中的任意兩個圖像組，兩個圖像組中的默認情感和/或預設描述語句不相同。

7.根據權利要求5所述圖像配文方法，其特征在于，所述評價分數的確定過程具體包括：

對于每個圖像組，通過所述語句預測模型確定該圖像組中的待配文圖像對應的圖像特征、該圖像組中的默認情感對應的情感特征以及該圖像組中的預設描述語句對應的語句特征；通過所述語句預測模型、該圖像特征、該情感特征及該語句特征，確定該圖像組對應的評價分數。

8.根據權利要求7所述圖像配文方法，其特征在于，所述語句預測模型包括特征提取模塊、線性模塊以及詞特征提取模塊，所述通過所述語句預測模型確定所述待配文圖像對應的圖像特征，該圖像組中的默認情感對應的情感特征以及該圖像組中的預設描述語句對應的語句特征具體包括：

將該圖像組中的所述待配文圖像輸入所述特征提取模塊，通過所述特征提取模塊確定所述待配文圖像對應的圖像特征；

將該圖像組中的默認情感輸入所述線性模塊，通過所述線性模塊確定默認情感對應的情感特征；

將所述該圖像組中的預設描述語句輸入所述詞特征提取模塊，通過所述詞特征提取模塊確定預設描述語句對應的語句特征。