[發明專利]基于對抗學習和語義相似度的社交網絡跨媒體搜索方法

在審

• 申請號: 201910631327.1
• 申請日: 2019-07-12
• 公開（公告）號: CN110502743A
• 公開（公告）日: 2019-11-26
• 發明（設計）人: 杜軍平;薛哲;劉翀;周南
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06N3/04;G06Q50/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于對抗學習和語義相似度的社交網絡跨媒體搜索方法，其特征在于，使用對抗學習方法框架構建訓練特征映射網絡和模態判別網絡，其中特征映射網絡使用多維語義分布向量將不同模態的數據映射到同一語義空間中，使得相同語義下的不同模態數據在該空間距離小，不同語義下相同模態數據距離大。跨媒體數據經過特征映射網絡之后，既保留映射前的語義分布，又能夠消除模態上的差異。

2.根據權利要求1所述的方法，其特征在于，使用語義分布及相似度作為特征映射網訓練依據，模態判別網絡負責判定空間中不同數據的模態。基于對抗學習交替訓練兩個網絡，最終使得特征映射網絡得到的數據和原數據語義一致，并消除模態特性，最終在同一空間內使用相似度來排序并得到搜索結果。

3.根據權利要求1所述的方法，其特征在于，使用語義相似度描述不同模態之間語義的距離。充分表達了相同語義下不同模態數據的相似性和差異性，使用實數表達而非簡單二元組描述數據關聯特征，并使用余弦相似度來刻畫距離，使得結果更加準確。