[發明專利]基于圖像生成文本信息的方法、裝置、電子設備及介質

在審

• 申請號: 201810541055.1
• 申請日: 2018-05-30
• 公開（公告）號: CN110555332A
• 公開（公告）日: 2019-12-10
• 發明（設計）人: 林科;過海洋;羅振波;姜映映;付培
• 申請（專利權）人: 北京三星通信技術研究有限公司;三星電子株式會社
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 11330 北京市立方律師事務所
• 代理人: 張筱寧

1.一種基于圖像生成文本信息的方法，其特征在于，包括：

獲取待處理圖像的第一圖像特征信息，以及至少一個文本屬性對應的文本屬性信息；

根據所述第一圖像特征信息和所述文本屬性信息，確定所述待處理圖像所對應的文本信息。

2.根據權利要求1所述的圖像生成文本信息的方法，其特征在于，獲取所述待處理圖像的至少一個文本屬性對應的文本屬性信息，包括：

根據所述第一圖像特征信息，通過分類網絡，得到所述待處理圖像的至少一個文本屬性對應的文本屬性信息；或

獲取所述待處理圖像的第二圖像特征信息；

根據所述第二圖像特征信息，通過分類網絡，得到所述待處理圖像的至少一個文本屬性對應的文本屬性信息。

3.根據權利要求1或2所述的基于圖像生成文本信息的方法，其特征在于，所述文本屬性對應的文本屬性信息包括：

所述文本屬性在所述待處理圖像中的全局文本屬性信息；和/或

所述文本屬性在所述待處理圖像的各第一目標候選區域中的局部文本屬性信息。

4.根據權利要求3所述的基于圖像生成文本信息的方法，其特征在于，若所述文本屬性對應的文本屬性信息包括所述局部文本屬性信息，所述根據所述第一圖像特征信息和所述文本屬性信息，確定所述待處理圖像所對應的文本信息，包括：

確定針對各第一目標候選區域的權重；

根據針對各第一目標候選區域的權重，確定所述文本屬性所對應的全局加權平均文本屬性信息；

根據所述第一圖像特征信息和所述文本屬性所對應的全局加權平均文本屬性信息，確定所述待處理圖像所對應的文本信息。

5.根據權利要求1至4中任一項所述的基于圖像生成文本信息的方法，其特征在于，所述根據所述第一圖像特征信息和所述文本屬性信息，確定所述待處理圖像所對應的文本信息，包括：

根據所述第一圖像特征信息和所述文本屬性信息，通過遞歸神經網絡，確定所述待處理圖像的第一隱藏特征向量；

根據所述第一隱藏特征向量，通過多元邏輯回歸函數，確定所述待處理圖像所對應的文本信息。

6.根據權利要求5所述的基于圖像生成文本信息的方法，其特征在于，若所述文本屬性對應的文本屬性信息包括所述全局文本屬性信息和所述局部文本屬性信息，和/或，所述第一圖像特征信息包括所述待處理圖像的全局圖像特征信息和所述待處理圖像的各第二目標候選區域中的局部圖像特征信息，則所述遞歸神經網絡包括至少兩個級聯的神經網絡；

所述通過遞歸神經網絡，確定所述待處理圖像的第一隱藏特征向量滿足以下處理規則中的至少一項：

所述全局文本屬性信息的處理順序位于所述局部文本屬性信息之前；

所述全局圖像特征信息的處理順序位于所述局部圖像特征信息之前；

所述至少兩個級聯的神經網絡中的每一級神經網絡中處理所述全局文本屬性信息、所述局部文本屬性信息、所述全局圖像特征信息和所述局部圖像特征信息中的至少一種信息。

7.根據權利要求1至6中任一項所述的基于圖像生成文本信息的方法，其特征在于，所述文本屬性包括下述至少一項：目標對象屬性、形容詞屬性、動詞屬性和缺省可配置屬性。

8.根據權利要求1至7中任一項所述的基于圖像生成文本信息的方法，其特征在于，所述文本屬性信息包括所述文本屬性的概率分布特征信息和/或所述文本屬性的屬性值信息。

9.一種基于圖像生成文本信息的裝置，其特征在于，包括：

圖像信息獲取模塊，用于獲取待處理圖像的第一圖像特征信息，以及至少一個文本屬性對應的文本屬性信息；

文本信息確定模塊，用于根據所述第一圖像特征信息和所述文本屬性信息，確定所述待處理圖像所對應的文本信息。