[發(fā)明專利]一種圖像語義理解方法、裝置、設備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210067262.4
• 申請日: 2022-01-20
• 公開（公告）號: CN114429566A
• 公開（公告）日: 2022-05-03
• 發(fā)明（設計）人: 劉志遠;趙建博;劉涵宇;馬偉;謝奇奇;劉超;劉朋樟;包勇軍
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀貿(mào)易有限公司
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06K9/62;G06F16/35;G06F40/30;G06Q30/06
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 趙迎迎

本發(fā)明實施例公開了一種圖像語義理解方法、裝置、設備和存儲介質(zhì)，所述方法包括：獲取目標圖像信息；將所述目標圖像信息輸入至預先訓練的語義理解模型中，獲得所述語義理解模型輸出的語義分類結(jié)果，所述語義理解模型基于關聯(lián)的圖像信息和文本信息訓練得到；根據(jù)所述語義分類結(jié)果確定語義理解結(jié)果。本發(fā)明實施例提供的方法通過直接基于獲取的關聯(lián)的圖像信息和文本信息訓練得到的語義理解模型對目標圖像信息進行分類，簡化了模型訓練時的標注量，實現(xiàn)了少了標注即可訓練得到分類準確的語義理解模型。

技術(shù)領域

本發(fā)明實施例涉及計算機技術(shù)領域，尤其涉及一種圖像語義理解方法、裝置、設備及存儲介質(zhì)。

背景技術(shù)

圖像語義理解是一個很有價值的方向，很多場景都需要用到圖像語義信息，比如圖像打標簽，以圖像作為輸入進行信息推薦等。為了理解圖像的語義信息，通常的做法是通過對圖像進行標注，比如圖像的風格是“時尚潮流”，圖像描述了“商品破損”，然后利用標注了文本信息的圖像數(shù)據(jù)，訓練圖片語義理解模型，理解商品圖片的語義。

在實現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術(shù)中至少存在以下技術(shù)問題：為了能夠訓練出準確的語義理解模型，需要標注量很大，標注復雜度很高。當標注量不足、標注不合理時，訓練出的語義理解模型的準確度較低。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種圖像語義理解方法、裝置、設備及存儲介質(zhì)，以實現(xiàn)提高語義理解模型的準確度。

第一方面，本發(fā)明實施例提供了一種圖像語義理解方法，包括：

獲取目標圖像信息；

將目標圖像信息輸入至預先訓練的語義理解模型中，獲得語義理解模型輸出的語義分類結(jié)果，語義理解模型基于關聯(lián)的圖像信息和文本信息訓練得到；

根據(jù)語義分類結(jié)果確定語義理解結(jié)果。

第二方面，本發(fā)明實施例還提供了一種圖像語義理解裝置，包括：

目標圖像獲取模塊，用于獲取目標圖像信息；

模型分類模塊，用于將目標圖像信息輸入至預先訓練的語義理解模型中，獲得語義理解模型輸出的語義分類結(jié)果，語義理解模型基于關聯(lián)的圖像信息和文本信息訓練得到；

語義理解模塊，用于根據(jù)語義分類結(jié)果確定語義理解結(jié)果。

第三方面，本發(fā)明實施例還提供了一種計算機設備，設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序；

當一個或多個程序被一個或多個處理器執(zhí)行，使得一個或多個處理器實現(xiàn)如本發(fā)明任意實施例所提供的圖像語義理解方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明任意實施例所提供的圖像語義理解方法。

本發(fā)明實施例提供的圖像語義理解方法通過獲取待生成圍欄的候選圍欄區(qū)域；獲取目標圖像信息；將目標圖像信息輸入至預先訓練的語義理解模型中，獲得語義理解模型輸出的語義分類結(jié)果，語義理解模型基于關聯(lián)的圖像信息和文本信息訓練得到；根據(jù)語義分類結(jié)果確定語義理解結(jié)果。通過直接基于獲取的關聯(lián)的圖像信息和文本信息訓練得到的語義理解模型對目標圖像信息進行分類，簡化了模型訓練時的標注量，實現(xiàn)了少了標注即可訓練得到分類準確的語義理解模型。

附圖說明

圖1是本發(fā)明實施例所提供的一種圖像語義理解方法的流程示意圖；

圖2是本發(fā)明實施例所提供的又一種圖像語義理解方法的流程示意圖；

圖3a是本發(fā)明實施例所提供的又一種圖像語義理解方法的流程示意圖；