[發(fā)明專利]一種結(jié)合RBM和特征選擇的列表級排序?qū)W習(xí)方法

在審

• 申請?zhí)枺?/td>: 201611147495.6
• 申請日: 2016-12-13
• 公開（公告）號: CN106599577A
• 公開（公告）日: 2017-04-26
• 發(fā)明（設(shè)計）人: 唐賢倫;熊德意;郭飛;馬藝瑋;蔡軍;劉雨微;萬亞利;李佳歆
• 申請（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號: G06F19/00
• 分類號: G06F19/00;G06N3/02
• 代理公司: 北京同恒源知識產(chǎn)權(quán)代理有限公司11275
• 代理人: 廖曦

1.一種結(jié)合RBM和特征選擇的列表級排序?qū)W習(xí)方法，其特征在于：包括以下步驟：

S101、搜集數(shù)據(jù)集，將數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集和測試集；設(shè)置多層RBM網(wǎng)絡(luò)的結(jié)構(gòu)，修改RBM神經(jīng)網(wǎng)絡(luò)隱含層和可見層的重構(gòu)的方式，將訓(xùn)練集樣本中的每個列表的文檔向量以查詢列表為單位，分別輸入修改后的多層RBM進(jìn)行預(yù)訓(xùn)練；

S102、將傳統(tǒng)ListNet算法中兩層線性網(wǎng)絡(luò)替換為多層線性神經(jīng)網(wǎng)絡(luò)，用S101中預(yù)訓(xùn)練得到的各層RBM網(wǎng)絡(luò)的連接權(quán)值初始化多層線性神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，得到每個查詢列表的初始排序模型，以及每個查詢列表的初始排序函數(shù)；基于訓(xùn)練集，用歸一化衰減累計增益評價每個查詢列表所對應(yīng)的初始排序模型在訓(xùn)練集上的檢索質(zhì)量，并保存NDCG@n值最大的排序模型參數(shù)和排序函數(shù)；

S103、將整個訓(xùn)練集數(shù)據(jù)輸入S102中得到的排序模型，得到各個查詢列表中文檔的預(yù)測得分值；用Luce模型和前k項TOP-k概率模型計算出按照人工標(biāo)注降序排列的序列概率p(y)和按照模型預(yù)測分?jǐn)?shù)降序排列的序列概率p(z)，定義基于交叉熵的損失函數(shù)L(y,z)，利用梯度下降法進(jìn)行迭代優(yōu)化，微調(diào)排序函數(shù)的參數(shù)，直到損失函數(shù)的值不再減小；保存微調(diào)過程中驗(yàn)證集的NDCG@n取得最大值時的參數(shù)，確定未經(jīng)特征選擇前的最佳排序模型RM₀以及最佳多層線性排序函數(shù)RF₀；

S104、將步驟S103所得最佳多層線性排序函數(shù)RF₀的特征系數(shù)的絕對值看做特征的權(quán)重，取前K個權(quán)重最大的特征，構(gòu)建新的訓(xùn)練集、驗(yàn)證集和測試集；基于新的數(shù)據(jù)集，重復(fù)執(zhí)行步驟S101至S步驟S103，得到特征選擇后的最佳排序模型RM₁；

S105、將步驟S104中重新構(gòu)建新的測試集的數(shù)據(jù)輸入特征選擇后的最佳排序模型RM₁，利用已學(xué)習(xí)參數(shù)進(jìn)行特征測試，對測試集進(jìn)行排序，同時得到整個測試集的排序評價標(biāo)準(zhǔn)值NDCG@n。

2.根據(jù)權(quán)利要求1所述的一種結(jié)合RBM和特征選擇的列表級排序?qū)W習(xí)方法，其特征在于：步驟S101中：設(shè)置多層RBM網(wǎng)絡(luò)的結(jié)構(gòu)為：將數(shù)據(jù)集中特征向量的維數(shù)作為第一層RBM的節(jié)點(diǎn)數(shù)，設(shè)置最后一個RBM的隱含層為輸出層，節(jié)點(diǎn)數(shù)為1。

3.根據(jù)權(quán)利要求1所述的一種結(jié)合RBM和特征選擇的列表級排序?qū)W習(xí)方法，其特征在于：步驟S101中：RBM神經(jīng)網(wǎng)絡(luò)隱含層和可見層的重構(gòu)的方式為：用可見層和隱含層激活值代替?zhèn)鹘y(tǒng)的sigmoid函數(shù)的概率生成值，作為各層的輸出，即：其中，i表示可見層節(jié)點(diǎn)，j表示隱含層節(jié)點(diǎn)，n_v表示可見層節(jié)點(diǎn)數(shù)，n_j表示隱含層節(jié)點(diǎn)數(shù)，v_i是可見層的輸出，h_j為隱含層的輸出，c_i為可見層的偏置，b_j為隱含層的偏置，w_ij是可見層到隱含層的連接權(quán)值，v’_i是重構(gòu)后的可見層輸出，h’_j為重構(gòu)后的隱含層輸出。

4.根據(jù)權(quán)利要求1所述的一種結(jié)合RBM和特征選擇的列表級排序?qū)W習(xí)方法，其特征在于：步驟S102中，用各RBM層重構(gòu)后的可見層到隱含層之間的連接權(quán)值用來初始化多層線性神經(jīng)網(wǎng)絡(luò)的連接權(quán)值，用各RBM的隱含層偏置初始化線性神經(jīng)網(wǎng)絡(luò)各隱含層的偏置，最后一層RBM的隱含層的偏置初始化神經(jīng)網(wǎng)絡(luò)輸出層的偏置值。