[發(fā)明專利]基于雙重協(xié)作生成式對(duì)抗網(wǎng)絡(luò)的排序?qū)W習(xí)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010594875.4
• 申請(qǐng)日: 2020-06-28
• 公開(kāi)（公告）號(hào): CN111783980B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 林原;謝張;應(yīng)承軒;牟方舟;葉子雄;許侃;林鴻飛
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06N3/094
• 分類號(hào): G06N3/094;G06N3/045;G06N3/0475;G06N3/048;G06N3/047;G06F16/33;G06F16/38
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 劉斌

一種基于雙重協(xié)作生成式對(duì)抗網(wǎng)絡(luò)的排序?qū)W習(xí)方法，該生成式對(duì)抗網(wǎng)絡(luò)包含三個(gè)角色：導(dǎo)師，生成器和判別器，該方法主要步驟包括：S1、構(gòu)建排序?qū)W習(xí)所需數(shù)據(jù)集步驟；S2、創(chuàng)建導(dǎo)師網(wǎng)絡(luò)和生成器網(wǎng)絡(luò)步驟；S3、創(chuàng)建判別器網(wǎng)絡(luò)步驟；S4、數(shù)據(jù)細(xì)節(jié)及參數(shù)設(shè)置步驟；S5、T?G網(wǎng)絡(luò)模型迭代訓(xùn)練步驟；S6、G?D網(wǎng)絡(luò)模型迭代訓(xùn)練步驟；S7、多指標(biāo)有效性測(cè)試結(jié)果返回步驟，效果是改善了用于排序?qū)W習(xí)的生成式對(duì)抗網(wǎng)絡(luò)，在先前的知識(shí)體系基礎(chǔ)上，通過(guò)導(dǎo)師與生成器之間的交互幫助與監(jiān)督，減少了生成器和判別器之間的差異，提高了生成器的效率與有效性，在訓(xùn)練過(guò)程中大大削弱了過(guò)擬合的風(fēng)險(xiǎn)，改善了排序?qū)W習(xí)的性能。

技術(shù)領(lǐng)域

本方法涉及信息檢索和機(jī)器學(xué)習(xí)領(lǐng)域，尤其和排序?qū)W習(xí)中的生成對(duì)抗網(wǎng)絡(luò)關(guān)系密切。

背景技術(shù)

作為信息檢索和機(jī)器學(xué)習(xí)的交集領(lǐng)域，排序?qū)W習(xí)已廣泛應(yīng)用于基于監(jiān)督機(jī)器學(xué)習(xí)方法的不同排序任務(wù)中。排序?qū)W習(xí)模型以面向排序的損失函數(shù)為優(yōu)化目標(biāo)。最終的訓(xùn)練模型可以有效地適應(yīng)排序方案，并為查詢提供相關(guān)的文檔列表。因此，排序?qū)W習(xí)的損失函數(shù)的構(gòu)建至關(guān)重要。根據(jù)損失函數(shù)的類型，排序?qū)W習(xí)模型通常分為三類，即point，pair和list。這三種類型的模型也對(duì)應(yīng)于三種等級(jí)損失函數(shù)，它們的構(gòu)造方法也對(duì)應(yīng)著三種不同類型的輸入樣本劃分方法。

pointwise模型把文檔和給定查詢之間的相關(guān)性作為模型訓(xùn)練的預(yù)測(cè)目標(biāo)，并把單個(gè)文檔作為模型的輸入，從而直接累積排序損失并預(yù)測(cè)單個(gè)文檔的相關(guān)性。其他pointwise方法采用類似的方法來(lái)建模文檔相關(guān)性。pointwise模型直接繼承了排序任務(wù)的分類或回歸算法的特征，并將原始算法的輸出轉(zhuǎn)換為排序分?jǐn)?shù)，以獲得最終的文檔排序列表。pairwise模型使用兩個(gè)相關(guān)性不同的文檔的偏好關(guān)系作為模型訓(xùn)練的預(yù)測(cè)目標(biāo)，將同一查詢下的所有文檔對(duì)都作為模型輸入，使得所有文檔對(duì)都累積在排序損失中。listwise模型使用與模型訓(xùn)練的預(yù)測(cè)目標(biāo)相同的查詢下的所有文檔的排序列表，并使用與不同查詢相對(duì)應(yīng)的多個(gè)文檔集作為模型的輸入，同時(shí)累積地面真實(shí)排序列表與損失中的預(yù)測(cè)清單。因此，可以直接在文檔列表級(jí)別對(duì)排序模型進(jìn)行優(yōu)化，來(lái)輸出最佳文檔排序列表。

以往的研究結(jié)果表明，與pointwise模型和pairwise模型相比，listwise模型在模型構(gòu)建中考慮了更多的排序信息，使得它可以直接優(yōu)化文檔排序列表或信息檢索評(píng)估手段，從而在不同的排序任務(wù)中獲得更好的排序性能。

生成對(duì)抗網(wǎng)絡(luò)(GAN)為任務(wù)提供了一個(gè)通用框架，該框架可分為兩部分：生成器(Generator)和判別器(Discriminator)。生成器(Generator)G試著擬合真實(shí)數(shù)據(jù)分布，甚至試著生成數(shù)據(jù)來(lái)欺騙判別器(Discriminator)D。而與之相反的是，D學(xué)會(huì)了從真實(shí)數(shù)據(jù)中分離出虛假數(shù)據(jù)。這種方法廣泛用于計(jì)算機(jī)視覺(jué)(CV)任務(wù)，例如：生成像BigGan這樣的高質(zhì)量圖像。此外，越來(lái)越多的GAN應(yīng)用于信息檢索(IR)任務(wù)，例如：IRGAN。

一般來(lái)說(shuō)，訓(xùn)練生成器(Generator)來(lái)學(xué)習(xí)真實(shí)數(shù)據(jù)的潛在概率分布并生成無(wú)噪聲的數(shù)據(jù)。判別器(Discriminator)可以通過(guò)更少的噪聲饋送數(shù)據(jù)獲得更好的性能，并且具有朝向理論數(shù)學(xué)最小值的穩(wěn)健訓(xùn)練路徑。盡管GAN具有優(yōu)勢(shì)，但是面對(duì)復(fù)雜的訓(xùn)練也會(huì)表現(xiàn)得比較糟糕。為了發(fā)現(xiàn)并找到可能的解決方案，大家也進(jìn)行了越來(lái)越多相關(guān)性的研究。LeakGAN讓判別器(Discriminator)將更多信息泄漏給生成器(Generator)，這一點(diǎn)使得反饋更加強(qiáng)大，訓(xùn)練過(guò)程也變得更加優(yōu)秀。

發(fā)明內(nèi)容

本發(fā)明是一種用于排序?qū)W習(xí)的雙重協(xié)作生成對(duì)抗網(wǎng)絡(luò)，其目的在于解決GAN網(wǎng)絡(luò)的局限性，即緩解訓(xùn)練不足的問(wèn)題，將NDCG指標(biāo)引入先前的知識(shí)體系之中，大大削弱了過(guò)度擬合的程度。