[發明專利]資訊圖文匹配模型的訓練方法、裝置及計算設備

在審

• 申請號: 201910605798.5
• 申請日: 2019-07-05
• 公開（公告）號: CN112182341A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陳茂森;羅玄;黃君實
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/58
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種資訊圖文匹配模型的訓練方法，所述方法包括：

提取資訊信息庫中每個資訊信息的文本和圖片；

利用每個資訊信息的文本和圖片，構建資訊樣本集合；

針對資訊樣本集合中的每個資訊樣本，對該資訊樣本中的文本和圖片進行特征提取，得到該資訊樣本對應的文本特征和圖片特征；將該資訊樣本對應的文本特征和圖片特征進行組合，得到該資訊樣本對應的圖文特征；

根據資訊樣本集合中的每個資訊樣本對應的圖文特征，訓練得到資訊圖文匹配模型。

2.根據權利要求1所述的方法，其中，所述利用每個資訊信息的文本和圖片，構建資訊樣本集合進一步包括：

針對每個資訊信息，將該資訊信息的文本與該資訊信息的任一個圖片進行組合，構建得到包含有正樣本標簽的資訊樣本；將該資訊信息的文本與其他資訊信息的任一個圖片或者與圖片庫中的任一個圖片進行組合，構建得到包含有負樣本標簽的資訊樣本；

對所有的包含有正樣本標簽的資訊樣本以及所有的包含有負樣本標簽的資訊樣本進行匯總，得到資訊樣本集合。

3.根據權利要求1或2所述的方法，其中，所述對該資訊樣本中的文本和圖片進行特征提取，得到該資訊樣本對應的文本特征和圖片特征進一步包括：

將該資訊樣本中的文本輸入至經過訓練的語義分析模型中，得到該資訊樣本對應的文本特征；

將該資訊樣本中的圖片輸入至經過訓練的圖片分析模型中，得到該資訊樣本對應的圖片特征。

4.根據權利要求1-3任一項所述的方法，其中，所述將該資訊樣本對應的文本特征和圖片特征進行組合，得到該資訊樣本對應的圖文特征進一步包括：

依據映射矩陣，對該資訊樣本對應的圖片特征進行降維處理，得到該資訊樣本對應的圖片映射特征；

將該資訊樣本對應的圖片映射特征插入至該資訊樣本對應的文本特征中，得到該資訊樣本對應的圖文特征。

5.根據權利要求4所述的方法，其中，所述將該資訊樣本對應的圖片映射特征插入至該資訊樣本對應的文本特征中，得到該資訊樣本對應的圖文特征進一步包括：

在該資訊樣本對應的文本特征之前插入該資訊樣本對應的圖片映射特征，得到該資訊樣本對應的圖文特征。

6.一種資訊圖文匹配模型的訓練裝置，所述裝置包括：

提取模塊，適于提取資訊信息庫中每個資訊信息的文本和圖片；

構建模塊，適于利用每個資訊信息的文本和圖片，構建資訊樣本集合；

特征處理模塊，適于針對資訊樣本集合中的每個資訊樣本，對該資訊樣本中的文本和圖片進行特征提取，得到該資訊樣本對應的文本特征和圖片特征；將該資訊樣本對應的文本特征和圖片特征進行組合，得到該資訊樣本對應的圖文特征；

訓練模塊，適于根據資訊樣本集合中的每個資訊樣本對應的圖文特征，訓練得到資訊圖文匹配模型。

7.根據權利要求6所述的裝置，其中，所述構建模塊進一步適于：

針對每個資訊信息，將該資訊信息的文本與該資訊信息的任一個圖片進行組合，構建得到包含有正樣本標簽的資訊樣本；將該資訊信息的文本與其他資訊信息的任一個圖片或者與圖片庫中的任一個圖片進行組合，構建得到包含有負樣本標簽的資訊樣本；

對所有的包含有正樣本標簽的資訊樣本以及所有的包含有負樣本標簽的資訊樣本進行匯總，得到資訊樣本集合。

8.根據權利要求6或7所述的裝置，其中，所述特征處理模塊進一步適于：

將該資訊樣本中的文本輸入至經過訓練的語義分析模型中，得到該資訊樣本對應的文本特征；

將該資訊樣本中的圖片輸入至經過訓練的圖片分析模型中，得到該資訊樣本對應的圖片特征。

9.一種計算設備，包括：處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；

所述存儲器用于存放至少一可執行指令，所述可執行指令使所述處理器執行如權利要求1-5中任一項所述的資訊圖文匹配模型的訓練方法對應的操作。

10.一種計算機存儲介質，所述存儲介質中存儲有至少一可執行指令，所述可執行指令使處理器執行如權利要求1-5中任一項所述的資訊圖文匹配模型的訓練方法對應的操作。