[發明專利]圖文發布的方法、模型的訓練方法、裝置及存儲介質

有效

• 申請號: 202010089126.6
• 申請日: 2020-02-12
• 公開（公告）號: CN111310041B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 劉剛
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/957;G06F16/958
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 李娟

1.一種圖文發布的方法，其特征在于，該方法包括：

獲取待發布圖文的標題圖片；

獲取所述待發布圖文的標題圖片的語義向量；

若所述待發布圖文中包括多張標題圖片，則基于所述待發布圖文中的每張標題圖片的語義向量，對所述多張標題圖片之間的相似度進行檢測；

基于所述多張標題圖片之間的第一相似度檢測結果，確定所述待發布圖文中的多張標題圖片中包含有相似圖片后，對所述相似圖片中的至少一個標題圖片進行調整；

基于調整后的待發布圖文中包含的標題圖片的語義向量，與歷史圖文的歷史標題圖片的語義向量，對調整后的標題圖片和所述歷史標題圖片之間的相似度進行檢測；

基于所述調整后的標題圖片和所述歷史標題圖片之間的第二相似度檢測結果，確定所述調整后的標題圖片和所述歷史標題圖片為相似圖片后，將所述待發布圖文與所述歷史圖文打散發布。

2.如權利要求1所述的方法，其特征在于，所述獲取所述待發布圖文的標題圖片的語義向量，包括：

若所述標題圖片為特殊類型圖片，則獲取所述標題圖片中局部圖片的局部語義向量，其中所述特殊類型圖片為目標對象在標題圖片中的占比大于設定比值或為目標對象屬于預設類別，所述局部圖片為所述目標對象在標題圖片中的位置對應的圖片。

3.如權利要求1～2任一所述的方法，其特征在于，獲取所述待發布圖文的標題圖片的語義向量，具體包括：

基于已訓練的孿生網絡模型，獲取所述待發布圖文的標題圖片的語義向量，其中所述已訓練的孿生網絡模型是基于多對樣本對對孿生網絡模型進行訓練生成的，多對樣本對中包括正樣本對和負樣本對，每個正樣本對為帶相似圖片標簽的樣本，每個負樣本對為帶非相似圖片標簽的樣本。

4.如權利要求3所述的方法，其特征在于，所述孿生網絡模型的訓練過程，包括：

在多對樣本對中選取任一樣本對，所述多對樣本對中包括正樣本對和負樣本對，每個正樣本對包括帶有相似圖片標簽的兩張圖片，每個負樣本對包括帶有非相似圖片標簽的兩張圖片；

針對選取的任一樣本對，獲取所述樣本對中的第一圖片和第二圖片；

將所述第一圖片和所述第二圖片，分別輸入到所述孿生網絡模型的第一子網絡和第二子網絡中，獲取所述第一圖片的第一語義向量以及所述第二圖片的第二語義向量；

根據所述第一語義向量和所述第二語義向量，確定所述第一圖片與第二圖片的相似度檢測結果；

根據所述相似度檢測結果與所述樣本對的相似性標簽，確定損失值；

根據損失值對所述孿生網絡模型的網絡參數進行調整，直至所述損失值收斂至預設的期望值為止，得到已訓練的孿生網絡模型。

5.如權利要求3所述的方法，其特征在于，所述已訓練的孿生網絡模型包括第一子網絡和第二子網絡，且每個子網絡中包括卷積層、池化層以及全連接層，所述基于已訓練的孿生網絡模型獲取所述待發布圖文的標題圖片的語義向量，包括：

基于所述已訓練的孿生網絡模型中的任一子網絡獲取所述待發布圖文的標題圖片的語義向量；

具體包括：

將標題圖片的參數信息輸入到所述卷積層中進行卷積處理，獲得標題圖片的第一特征圖，其中所述參數信息包括像素數據以及通道數；

將所述第一特征圖輸入到所述池化層中進行下采樣處理，獲得第二特征圖；

將所述第二特征圖輸入到全連接層進行特征分類，確定標題圖片中包含的語義信息，并將所述語義信息轉換成語義向量。

6.如權利要求3所述的方法，其特征在于，所述獲取待發布圖文的標題圖片的語義向量后，還包括：

生成所述語義向量的索引信息，將所述語義向量與所述索引信息對應存儲在到向量存儲系統中，以更新所述向量存儲系統；

其中，所述索引信息用于指示所述語義向量對應的標題圖片及所述標題圖片所在的圖文。

7.如權利要求6所述的方法，其特征在于，所述將所述語義向量存儲到向量存儲系統中，包括：

基于已訓練的降維網絡模型對所述語義向量進行降維處理，并將降維處理后的語義向量存儲到所述向量存儲系統中。