[發明專利]描述文本生成方法及裝置

有效

• 申請號: 201810082485.1
• 申請日: 2018-01-29
• 公開（公告）號: CN110110145B
• 公開（公告）日: 2023-08-22
• 發明（設計）人: 楊小汕;徐常勝
• 申請（專利權）人: 騰訊科技（深圳）有限公司;中國科學院自動化研究所
• 主分類號: G06F16/78
• 分類號: G06F16/78;G06F16/58
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 劉映東

1.一種描述文本生成方法，其特征在于，所述方法包括：

從目標對象中提取出至少一個視覺特征向量，所述目標對象為視頻或圖片；

獲取與每個所述視覺特征向量關聯的至少一組樣本數據，每組所述樣本數據包括：樣本圖片以及與所述樣本圖片對應的標注文本，所述標注文本包括屬性標注文本或者關系標注文本；

采用圖片處理模型對每組樣本數據中的樣本圖片進行處理，得到每組樣本數據中的樣本圖片的視覺特征向量；

采用文本處理模型對每組樣本數據中的標注文本進行處理，得到每組樣本數據中的標注文本的語義特征向量；

根據第一視覺特征向量V_t，以及每組樣本數據中的樣本圖片的視覺特征向量，確定每組樣本數據中的標注文本的權重，第i組樣本數據中的標注文本的權重c_i滿足：

其中，所述第一視覺特征向量為所述至少一個視覺特征向量中的任一視覺特征向量，每組樣本數據中的標注文本的權重大小與樣本圖片的視覺特征向量的大小正相關；K為與每個所述視覺特征向量關聯的樣本數據的組數，V_t^T表示V_t的轉置，p_i為第i組樣本數據中的樣本圖片的視覺特征向量，p_j為第j組樣本數據中的樣本圖片的視覺特征向量，i和j均為不大于K的正整數；

基于每組樣本數據中的標注文本的權重，對所述至少一組樣本數據中的標注文本的語義特征向量進行加權求和，得到所述第一視覺特征向量對應的語義特征向量；

對所述至少一個視覺特征向量，以及每個所述視覺特征向量對應的語義特征向量進行處理，得到所述目標對象的描述文本。

2.根據權利要求1所述的方法，其特征在于，記憶模型包括圖片處理模型和文本處理模型，所述方法還包括：

獲取至少一組訓練數據，每組所述訓練數據包括：訓練圖片以及與所述訓練圖片對應的訓練標注文本，所述訓練標注文本包括屬性標注文本或者關系標注文本；

采用所述圖片處理模型對每組訓練數據中的訓練圖片進行處理，得到每組訓練數據中的訓練圖片的視覺特征向量；

采用所述文本處理模型對每組訓練數據中的訓練標注文本進行處理，得到每組訓練數據中的訓練標注文本的語義特征向量；

基于所述訓練圖片的視覺特征向量和所述訓練標注文本的語義特征向量，構造損失函數；

采用所述損失函數對所述記憶模型進行訓練，得到所述圖片處理模型和所述文本處理模型。

3.根據權利要求2所述的方法，其特征在于，獲取到的所述訓練數據的組數為N，所述基于所述訓練圖片的視覺特征向量和所述訓練標注文本的語義特征向量，構造損失函數，包括：

分別計算每一組訓練數據中，訓練圖片的視覺特征向量與訓練標注文本的語義特征向量之間的距離，得到N個距離，其中第n組訓練數據中的訓練圖片v_n的視覺特征向量F_v(v_n)與訓練標注文本s_n的語義特征向量F_s(s_n)之間的距離d_n滿足：d_n＝||F_v(v_n)-F_s(s_n)||，n為不大于N的正整數；

根據所述N個距離，構造損失函數，所述損失函數L滿足：

其中，l_n表示第n組樣本數據對應的配對標記，且l_n的取值為0或1，τ為預設的超參數，max(τ-d_i，0)表示取(τ-d_i)和0中的較大值，w為所述記憶模型中的參數，Ω(w)表示w的二范數，λ為權重衰減因子。

4.根據權利要求2至3任一所述的方法，其特征在于，獲取與第一視覺特征向量關聯的至少一組樣本數據，包括：

采用所述記憶模型分別提取樣本數據庫中每一組樣本數據的參考特征向量；

分別計算所述第一視覺特征向量與每一組樣本數據的參考特征向量之間的向量距離；

獲取向量距離不大于預設距離閾值的至少一組樣本數據作為與所述第一視覺特征向量關聯的樣本數據。