[發(fā)明專利]圖像處理方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910360905.2
• 申請(qǐng)日: 2019-04-30
• 公開(kāi)（公告）號(hào): CN110163121B
• 公開(kāi)（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 繆暢宇
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06V10/40
• 分類號(hào): G06V10/40;G06V30/413;G06V10/82;G06F40/30;G06N3/0464
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 張所明

1.一種圖像處理方法，其特征在于，所述方法包括：

獲取多個(gè)圖像的多個(gè)上下文信息，所述多個(gè)上下文信息為在文本場(chǎng)景中圖像所處位置之前或之后的文本信息中的至少一項(xiàng)；

將所述多個(gè)圖像和所述多個(gè)上下文信息輸入語(yǔ)言模型；獲取多個(gè)第一初始詞向量，所述多個(gè)第一初始詞向量對(duì)應(yīng)于所述多個(gè)圖像；獲取多個(gè)第二初始詞向量，所述多個(gè)第二初始詞向量對(duì)應(yīng)于所述多個(gè)上下文信息；

基于所述多個(gè)第一初始詞向量和所述多個(gè)第二初始詞向量，對(duì)所述語(yǔ)言模型進(jìn)行迭代訓(xùn)練；

當(dāng)損失函數(shù)值小于目標(biāo)閾值或迭代次數(shù)達(dá)到目標(biāo)次數(shù)時(shí)，得到所述多個(gè)圖像的語(yǔ)義特征；

基于所述多個(gè)圖像的語(yǔ)義特征進(jìn)行圖像處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取多個(gè)第一初始詞向量包括：

將所述多個(gè)圖像輸入像素特征提取模型，通過(guò)所述像素特征提取模型提取所述多個(gè)圖像的像素特征；

根據(jù)所述多個(gè)圖像的像素特征，對(duì)所述多個(gè)圖像進(jìn)行聚類處理，得到所述多個(gè)圖像的類別標(biāo)簽；

為具有相同類別標(biāo)簽的圖像分配相同的隨機(jī)詞向量作為第一初始詞向量。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取多個(gè)第一初始詞向量包括：

當(dāng)所述多個(gè)圖像中包括第一圖像時(shí)，從所述第一圖像中提取文本，對(duì)所述文本進(jìn)行嵌入處理，得到所述文本中至少一個(gè)詞語(yǔ)的詞向量，將所述至少一個(gè)詞語(yǔ)的詞向量的平均向量，獲取為與所述第一圖像對(duì)應(yīng)的第一初始詞向量，所述第一圖像為攜帶文本的圖像；

當(dāng)所述多個(gè)圖像中包括第二圖像時(shí)，將隨機(jī)詞向量獲取為與所述第二圖像對(duì)應(yīng)的第一初始詞向量，所述第二圖像為不攜帶文本的圖像。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取多個(gè)第二初始詞向量包括：

對(duì)所述多個(gè)上下文信息進(jìn)行嵌入處理，將預(yù)訓(xùn)練的詞向量獲取為所述多個(gè)第二初始詞向量。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述多個(gè)第一初始詞向量和所述多個(gè)第二初始詞向量，對(duì)所述語(yǔ)言模型進(jìn)行迭代訓(xùn)練包括：

在對(duì)所述語(yǔ)言模型進(jìn)行迭代訓(xùn)練的過(guò)程中，保持所述多個(gè)第二初始詞向量固定不變，對(duì)所述多個(gè)第一初始詞向量的數(shù)值進(jìn)行調(diào)整，得到多個(gè)第一詞向量；

所述當(dāng)損失函數(shù)值小于目標(biāo)閾值或迭代次數(shù)達(dá)到目標(biāo)次數(shù)時(shí)，得到所述多個(gè)圖像的語(yǔ)義特征包括：

當(dāng)損失函數(shù)值小于目標(biāo)閾值或迭代次數(shù)達(dá)到目標(biāo)次數(shù)時(shí)，將所述多個(gè)第一詞向量確定為所述多個(gè)圖像的語(yǔ)義特征。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述多個(gè)圖像的語(yǔ)義特征進(jìn)行圖像處理包括：

按照所述多個(gè)圖像的圖像標(biāo)識(shí)或類別標(biāo)識(shí)，將所述多個(gè)圖像的語(yǔ)義特征存儲(chǔ)到數(shù)據(jù)庫(kù)中，當(dāng)接收到攜帶目標(biāo)圖像的圖像處理指令時(shí)，從所述數(shù)據(jù)庫(kù)中獲取所述目標(biāo)圖像的語(yǔ)義特征，基于所述目標(biāo)圖像的語(yǔ)義特征進(jìn)行圖像處理。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，所述從所述數(shù)據(jù)庫(kù)中獲取所述目標(biāo)圖像的語(yǔ)義特征包括：

當(dāng)所述圖像處理指令中還攜帶所述目標(biāo)圖像的圖像標(biāo)識(shí)時(shí)，將所述數(shù)據(jù)庫(kù)中與所述圖像標(biāo)識(shí)所對(duì)應(yīng)的語(yǔ)義特征，確定為所述目標(biāo)圖像的語(yǔ)義特征；或，

對(duì)所述目標(biāo)圖像進(jìn)行聚類處理，獲取所述目標(biāo)圖像的類別標(biāo)識(shí)，將所述數(shù)據(jù)庫(kù)中與所述類別標(biāo)識(shí)所對(duì)應(yīng)的語(yǔ)義特征，確定為所述目標(biāo)圖像的語(yǔ)義特征。