[發明專利]建立跨域聯合分布匹配模型的方法、裝置及其應用

在審

• 申請號: 201810713109.8
• 申請日: 2018-06-29
• 公開（公告）號: CN108960324A
• 公開（公告）日: 2018-12-07
• 發明（設計）人: 王浩;杜長營;龐旭林;張晨;楊康
• 申請（專利權）人: 北京奇虎科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N5/04;G06N3/04
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝;何立春

本發明公開了一種建立跨域聯合分布匹配模型的方法、裝置及其應用，該方法包括：對于一個視圖x、另一個視圖y以及兩者的共享隱含表示z，建立生成器、樣本聯合分布、鑒別器和目標函數，對各生成器和各鑒別器進行訓練，確定各生成器和各鑒別器中的參數。該方法無需大量的跨域配對訓練數據樣本。作為一種新型半監督學習方法，本發明的技術方案能更有效地解決可被建模為跨域聯合分布匹配的諸多問題，如提升圖像翻譯、圖像到語義標簽的生成、基于語義標簽的圖像生成等任務的性能。本發明還對提出的基本多視圖對抗推理學習方法進行了拓展，使得模型性能更優、更穩定。

技術領域

本發明涉及人工智能領域，具體涉及建立跨域聯合分布匹配模型的方法和裝置、該模型的應用方法和裝置、電子設備和計算機可讀存儲介質。

背景技術

許多重要的機器學習和數據挖掘問題可以被建模為學習兩個數據域之間的雙向映射，例如：(1)圖像翻譯/編輯的目標是將某一輸入圖像轉換成另一符合人們要求且跟原始圖像有明顯對應關系的圖像；(2)圖像屬性預測的目標是自動為某一輸入圖像打上多個語義標簽，而其反向過程為根據給定的若干語義標簽生成一幅圖像；(3)跨模態檢索的目標是將某一給定模態或視圖的輸入查詢樣本自動與另一模態或視圖的數據庫中的樣本進行相似度比較并返回最相似的若干樣本。為了進行有意義的相似性比較，機器必須能夠理解兩個不同模態或視圖的數據樣本間的雙向對應關系。容易看到，以上問題場景所涉及的數據域轉換過程均可正向可反向，雙向都有實際意義。基于生成式對抗網絡(GANs，Generative Adversarial Network)，特別是條件GAN，跨域聯合分布匹配是一種日益流行的解決此類問題的方法。雖然跨域聯合分布匹配取得了重大進展，但該方法仍有兩個主要缺點，即需要大量的跨域配對訓練數據樣本和眾所周知的模型不穩定性。

發明內容

鑒于上述問題，提出了本發明以便提供一種克服上述問題或者至少部分地解決上述問題的建立跨域聯合分布匹配模型的方法和裝置，及其應用方法和裝置，以及電子設備和計算機可讀存儲介質。

依據本發明的一個方面，提供了一種建立跨域聯合分布匹配模型的方法，該方法包括：對于一個視圖x、另一個視圖y以及兩者的共享隱含表示z，建立生成器、樣本聯合分布、鑒別器和目標函數；其中，

建立生成器包括：確定給定z時x的條件高斯分布p01、給定z時y的條件高斯分布p02、給定x時z的條件高斯分布p03以及給定y時z的條件高斯分布p04；

建立樣本聯合分布包括：建立z和x的生成式聯合分布p1，建立z和x的推理式聯合分布p2，建立z和y的生成式聯合分布p3，建立z和y的推理式聯合分布p4，定義x和y的聯合分布p5為x和y配對出現的真實觀測數據的分布，利用z建立x和y的生成式聯合分布p6，利用z建立x為真實觀測數據而y為生成數據時的x和y的推理與生成聯合分布p7，利用z建立y為真實觀測數據而x為生成數據時的x和y的推理與生成聯合分布p8；

建立鑒別器包括：使用參數為ω_x的深度神經網絡DNN建立鑒別來自聯合分布p1的樣本和來自聯合分布p2的樣本的第一鑒別器使用參數為ω_y的DNN建立鑒別來自聯合分布p3的樣本和來自聯合分布p4的樣本的第二鑒別器使用參數為ζ的DNN建立鑒別x和y配對出現的真實觀測樣本P5和來自聯合分布P6的樣本的第三鑒別器D_ζ（x,y)，使用參數為的DNN建立鑒別來自聯合分布p7的樣本和來自聯合分布p8的樣本的第四鑒別器使用參數為χ_x的DNN建立鑒別從視圖y到視圖x的跨域映射性能的第五鑒別器使用參數為x_y的DNN建立鑒別從視圖x到視圖y的跨域映射性能的第六鑒別器

建立目標函數包括：在給定z時，根據p01得到視圖x的偽樣本根據p02得到視圖y的偽樣本同時得到跨域偽配對樣本在給定觀測到的樣本x時，根據p03得到隱含表示z的樣本在給定觀測到的y時，根據p04得到隱含表示z的樣本設定根據x推斷然后預測y得到的偽樣本為設定根據y推斷然后預測x得到的偽樣本為則目標函數為：