[發明專利]圖像描述處理方法、計算機設備及存儲介質

在審

• 申請號: 202310420296.1
• 申請日: 2023-04-18
• 公開（公告）號: CN116486188A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 陳廣;陳增海;鄭康元;王璞
• 申請（專利權）人: 廣州方硅信息技術有限公司
• 主分類號: G06V10/77
• 分類號: G06V10/77;G06V10/44;G06V10/764
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 郭曉曉

1.一種圖像描述處理方法，其特征在于，包括：

對待描述圖像進行描述得到圖像描述信息；

對所述待描述圖像進行目標提取處理得到至少一個目標區域圖像，并對所述至少一個目標區域圖像進行描述得到目標描述信息；

判斷所述待描述圖像和所述圖像描述信息是否匹配，以及每個所述目標區域圖像和相應的所述目標描述信息是否匹配；

若所述待描述圖像和所述圖像描述信息匹配，并且至少一個所述目標區域圖像和相應的所述目標描述信息匹配，則為所述待描述圖像生成包括所述圖像描述信息和相應的所述目標描述信息的細粒度描述信息。

2.根據權利要求1所述的方法，其特征在于，

判斷所述待描述圖像和所述圖像描述信息是否匹配，以及每個所述目標區域圖像和相應的所述目標描述信息是否匹配，包括：

計算所述待描述圖像和所述圖像描述信息之間的第一跨模態相似度，以及每個所述目標區域圖像和相應的所述目標描述信息之間的第二跨模塊相似度；

判斷所述第一跨模態相似度是否滿足第一預設條件，以及判斷所述第二跨模態相似度是否滿足第二預設條件；

若所述第一跨模態相似度滿足所述第一預設條件，則判定所述待描述圖像和所述圖像描述信息匹配，否則不匹配；

若所述第二跨模態相似度滿足所述第二預設條件，則判定所述目標區域圖像和相應的所述目標描述信息匹配，否則不匹配。

3.根據權利要求2所述的方法，其特征在于，

所述計算所述待描述圖像和所述圖像描述信息之間的第一跨模態相似度，以及每個所述目標區域圖像和相應的所述目標描述信息之間的第二跨模塊相似度，包括：

分別對所述待描述圖像和每個所述目標區域圖像進行視覺編碼對應得到第一圖像編碼值和第二圖像編碼值，以及分別對所述圖像描述信息和每個所述目標描述信息進行語言編碼對應得到第一語言編碼值和第二語言編碼值；

計算所述第一圖像編碼值和所述第一語言編碼值之間的余弦相似度，得到所述第一跨模態相似度；

計算所述第二圖像編碼值和所述第二語言編碼值之間的余弦相似度，得到所述第二跨模態相似度。

4.根據權利要求3所述的方法，其特征在于，

所述分別對所述待描述圖像和每個所述目標區域圖像進行視覺編碼對應得到第一圖像編碼值和第二圖像編碼值，以及分別對所述圖像描述信息和每個所述目標描述信息進行語言編碼對應得到第一語言編碼值和第二語言編碼值，包括：

分別將所述待描述圖像和每個所述目標區域圖像輸入CLIP視覺編碼器進行視覺編碼對應得到所述第一圖像編碼值和所述第二圖像編碼值；

分別將所述圖像描述信息和每個所述目標描述信息輸入CLIP語言編碼器進行語言編碼對應得到所述第一語言編碼值和所述第二語言編碼值。

5.根據權利要求2所述的方法，其特征在于，

所述判斷所述第一跨模態相似度是否滿足第一預設條件，以及判斷所述第二跨模態相似度是否滿足第二預設條件，包括：

判斷所述第一跨模態相似度是否大于或等于第一相似度閾值；以及判斷所述第二跨模態相似度是否大于或等于第二相似度閾值；

若所述第一跨模態相似度大于或等于所述第一相似度閾值，則判定所述第一跨模態相似度滿足所述第一預設條件；否則不滿足所述第一預設條件；

若所述第二跨模態相似度大于或等于所述第二相似度閾值，則判定所述第二跨模態相似度滿足所述第二預設條件，否則不滿足所述第二預設條件。

6.根據權利要求1所述的方法，其特征在于，

在所述判斷所述待描述圖像和所述圖像描述信息是否匹配，以及每個所述目標區域圖像和相應的所述目標描述信息是否匹配之后，包括：

若所述待描述圖像和所述圖像描述信息不匹配，則對所述待描述圖像進行近似描述以重新生成所述圖像描述信息，并且返回執行所述判斷待描述圖像和所述圖像描述信息是否匹配；

若所述目標區域圖像和相應的所述目標描述信息不匹配，則對所述目標區域圖像進行近似描述以重新生成所述目標描述信息，并且返回執行所述判斷每個所述目標區域圖像和相應的所述目標描述信息是否匹配。