[發明專利]圖像的文本信息生成方法和深度學習模型的訓練方法

有效

• 申請號: 202211068079.2
• 申請日: 2022-08-31
• 公開（公告）號: CN115359323B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 李威
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/80;G06V10/82;G06T11/60;G06N3/0464;G06N3/08
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 呂朝蕙

1.一種圖像的文本信息生成方法，包括：

對待處理圖像進行特征提取，得到與所述待處理圖像的文本信息相關聯的全局特征；

對所述待處理圖像進行目標檢測，得到所述待處理圖像的局部特征；

利用所述全局特征對所述局部特征進行處理，得到經更新局部特征；以及

基于所述全局特征和所述經更新局部特征，生成所述待處理圖像的所述文本信息，

其中，所述利用所述全局特征對所述局部特征進行處理，得到經更新局部特征包括：

利用所述全局特征處理所述局部特征，得到目標特征權重；以及

利用所述目標特征權重處理所述局部特征，得到所述經更新局部特征；

其中，所述全局特征包括全局特征矩陣，所述局部特征包括局部特征矩陣；所述利用所述全局特征處理所述局部特征，得到目標特征權重包括：

利用所述全局特征矩陣乘以所述局部特征矩陣，得到目標矩陣；以及

將所述目標矩陣，確定為所述目標特征權重；

其中，所述利用所述目標特征權重處理所述局部特征，得到所述經更新局部特征包括：

利用所述目標矩陣乘以所述局部特征矩陣，得到所述經更新局部特征。

2.根據權利要求1所述的方法，其中，所述基于所述全局特征和所述經更新局部特征，生成所述待處理圖像的所述文本信息包括：

將所述全局特征和所述經更新局部特征進行融合，得到圖像融合特征；以及

利用自然語言理解方式對所述圖像融合特征進行語義理解，生成所述待處理圖像的所述文本信息。

3.根據權利要求2所述的方法，還包括，在利用所述全局特征對所述局部特征進行處理，得到經更新局部特征之前：

確定與所述自然語言理解方式相關聯的特征空間；

將所述全局特征映射至所述特征空間，得到經映射全局特征，作為所述全局特征；以及

將所述局部特征映射至所述特征空間，得到經映射局部特征，作為所述局部特征。

4.根據權利要求1所述的方法，其中，所述對所述待處理圖像進行目標檢測，得到所述待處理圖像的局部特征包括：

對所述待處理圖像進行目標檢測，得到候選圖像區域；

基于與所述候選圖像區域相關聯的概率數據，從所述候選圖像區域中確定目標圖像區域，其中，所述概率數據表征了所述候選圖像區域存在目標對象的概率；以及

將所述目標圖像區域的區域特征，確定為所述局部特征。

5.根據權利要求1-4中任意一項所述的方法，其中，所述文本信息包括以下至少一項：

目標對象的標識信息、所述目標對象的特征信息、所述目標對象所處的場景信息。

6.根據權利要求1所述的方法，還包括：

根據所述待處理圖像的所述文本信息，生成所述待處理圖像的語音信息。