[發明專利]圖片處理方法、文本處理方法、相關設備及存儲介質

在審

• 申請號: 202110975132.6
• 申請日: 2021-08-24
• 公開（公告）號: CN113627567A
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 張恒
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06T11/00
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種圖片處理方法，其特征在于，包括：

獲取待處理圖片，對所述待處理圖片進行切片處理得到圖片塊序列；

將所述圖片塊序列中的圖片塊輸入自編碼網絡的編碼器進行編碼處理，得到每個所述圖片塊對應的嵌入向量；各所述圖片塊對應的嵌入向量構成圖片向量序列；

將所述圖片向量序列輸入圖片生成文本模型，得到輸出的所述待處理圖片對應的描述文本。

2.根據權利要求1所述的圖片處理方法，其特征在于，所述圖片生成文本模型的訓練方法包括：

獲取第一樣本圖片文本對；所述第一樣本圖片文本對包括第一樣本圖片和所述第一樣本圖片的描述文本；

對所述第一樣本圖片文本對中的第一樣本圖片進行切片處理，得到第一樣本圖片塊序列；

將所述第一樣本圖片塊序列中的第一樣本圖片塊輸入所述自編碼網絡的編碼器進行編碼處理，得到每個所述第一樣本圖片塊對應的嵌入向量；各所述第一樣本圖片塊對應的嵌入向量構成第一樣本圖片向量序列；

將所述第一樣本圖片向量序列輸入第一預設神經網絡進行文本預測，得到輸出的預測文本；

根據所述預測文本與所述描述文本之間的差異，對所述第一預設神經網絡進行訓練，得到所述圖片生成文本模型。

3.根據權利要求2所述的圖片處理方法，其特征在于，所述方法還包括：

獲取第一原始樣本圖片文本對；所述第一原始樣本圖片文本對包括第一原始樣本圖片和所述第一原始樣本圖片的描述文本；

對所述第一原始樣本圖片文本對中的第一原始樣本圖片進行圖片增強處理，得到所述第一原始樣本圖片對應的多個第一增強樣本圖片；

對所述第一原始樣本圖片文本對中所述第一原始樣本圖片的描述文本進行文本增強處理，得到多個第一增強樣本文本；

根據所述多個第一增強樣本圖片和所述多個第一增強樣本文本，生成多個第一增強樣本圖片文本對；

根據所述第一原始樣本圖片文本對和所述多個第一增強樣本圖片文本對，得到所述第一樣本圖片文本對。

4.一種文本處理方法，其特征在于，包括：

獲取待處理文本；

將所述待處理文本輸入文本生成圖片模型，得到輸出的圖片向量序列；所述圖片向量序列包括多個嵌入向量，每個所述嵌入向量對應一個圖片塊；

將所述圖片向量序列輸入自編碼網絡的解碼器進行解碼處理，得到輸出的所述待處理文本對應的描述圖片。

5.根據權利要求4所述的文本處理方法，其特征在于，所述文本生成圖片模型的訓練方法還包括：

獲取第二樣本圖片文本對；所述第二樣本圖片文本對包括第二樣本圖片和所述第二樣本圖片的描述文本；

對所述第二樣本圖片文本對中的第二樣本圖片進行切片處理，得到第二樣本圖片塊序列；

將所述第二樣本圖片塊序列中的第二樣本圖片塊輸入所述自編碼網絡的編碼器進行編碼處理，得到每個所述第二樣本圖片塊對應的嵌入向量；各所述第二樣本圖片塊對應的嵌入向量構成參考樣本圖片向量序列；

將所述第二樣本圖片文本對中所述第二樣本圖片的描述文本輸入第二預設神經網絡進行圖片預測，得到輸出的第二樣本圖片向量序列；所述第二樣本圖片向量序列包括多個樣本嵌入向量，每個所述樣本嵌入向量對應一個所述第二樣本圖片塊；

根據所述第二樣本圖片向量序列與所述參考樣本圖片向量序列之間的差異，對所述第二預設神經網絡進行訓練，得到所述文本生成圖片模型。

6.根據權利要求5所述的文本處理方法，其特征在于，所述方法還包括：

獲取第二原始樣本圖片文本對；所述第二原始樣本圖片文本對包括第二原始樣本圖片和所述第二原始樣本圖片的描述文本；

對所述第二原始樣本圖片文本對中的第二原始樣本圖片進行圖片增強處理，得到所述第二原始樣本圖片對應的多個第二增強樣本圖片；

對所述第二原始樣本圖片文本對中所述第二原始樣本圖片的描述文本進行文本增強處理，得到多個第二增強樣本文本；

根據所述多個第二增強樣本圖片和所述多個第二增強樣本文本，生成多個第二增強樣本圖片文本對；

根據所述第二原始樣本圖片文本對和所述多個第二增強樣本圖片文本對，得到所述第二樣本圖片文本對。