[發(fā)明專(zhuān)利]一種用于多目標(biāo)回歸的目標(biāo)相關(guān)特征構(gòu)建方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010117607.3
• 申請(qǐng)日: 2020-02-25
• 公開(kāi)（公告）號(hào): CN111382391A
• 公開(kāi)（公告）日: 2020-07-07
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)海升;李強(qiáng);冀全朋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶文理學(xué)院
• 主分類(lèi)號(hào): G06F17/18
• 分類(lèi)號(hào): G06F17/18;G06N20/10
• 代理公司: 北京和聯(lián)順知識(shí)產(chǎn)權(quán)代理有限公司 11621
• 代理人: 徐冬冬;段紅玉

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種用于多目標(biāo)回歸的目標(biāo)相關(guān)特征構(gòu)建方法，包括以下步驟：首先給定具有N個(gè)訓(xùn)練樣本的訓(xùn)練數(shù)據(jù)集D、學(xué)習(xí)目標(biāo)y_j、隨機(jī)選擇的特3征個(gè)數(shù)t和保留葉結(jié)點(diǎn)的百分比P，隨機(jī)構(gòu)建L個(gè)樹(shù)的子集、原始特征集X和訓(xùn)練集，然后學(xué)習(xí)回歸樹(shù)，再學(xué)習(xí)目標(biāo)特定功能，得到具有目標(biāo)特定特征的新訓(xùn)練數(shù)據(jù)集，再進(jìn)行訓(xùn)練得到基本預(yù)測(cè)模型，最后形成潛在空間；本發(fā)明提出的目標(biāo)相關(guān)特征構(gòu)建方法與用于多目標(biāo)回歸的最新算法相比具有競(jìng)爭(zhēng)性的預(yù)測(cè)性能；在多目標(biāo)回歸中，利用目標(biāo)特有的特征對(duì)處理復(fù)雜的投入產(chǎn)出關(guān)系非常有效；通過(guò)將目標(biāo)特定特征與目標(biāo)間相關(guān)性結(jié)合起來(lái)，可以大大提高多目標(biāo)回歸的預(yù)測(cè)性能。

技術(shù)領(lǐng)域

本發(fā)明涉及機(jī)器學(xué)習(xí)技術(shù)領(lǐng)域，具體涉及一種用于多目標(biāo)回歸的 目標(biāo)相關(guān)特征構(gòu)建方法。

背景技術(shù)

多目標(biāo)回歸是指同時(shí)預(yù)測(cè)多個(gè)實(shí)值目標(biāo)的任務(wù)。在多目標(biāo)回歸中， 多個(gè)輸出目標(biāo)不是互斥的，而是可以相互關(guān)聯(lián)的。為此，已經(jīng)提出了 許多專(zhuān)注于利用目標(biāo)間相關(guān)性的多目標(biāo)回歸方法。對(duì)目標(biāo)間相關(guān)性進(jìn) 行建模的一種普遍方法是設(shè)計(jì)正則化或強(qiáng)加對(duì)模型參數(shù)矩陣的稀疏約 束。其他多目標(biāo)回歸方法例如堆疊式單目標(biāo)、回歸鏈的集合、和支持 向量回歸的相關(guān)鏈明確地利用目標(biāo)的預(yù)測(cè)作為附加的輸入特征來(lái)模擬 目標(biāo)間的相關(guān)性。現(xiàn)有的多目標(biāo)回歸方法學(xué)習(xí)預(yù)測(cè)這些模型基于一組 相同的輸入特征，這可能是次優(yōu)的，因?yàn)椴煌妮敵瞿繕?biāo)可能具有其 自身的特定特征。在與多目標(biāo)回歸密切相關(guān)的多標(biāo)簽分類(lèi)中，已證明 標(biāo)簽的特定功能可用于改善整體分類(lèi)，但是，這些方法無(wú)法利用多個(gè) 標(biāo)簽之間的相關(guān)性來(lái)提高分類(lèi)性能。

近年來(lái)，多目標(biāo)回歸吸引了越來(lái)越多的研究工作者。由于它具有 預(yù)測(cè)多個(gè)相關(guān)輸出目標(biāo)并提高性能的強(qiáng)大功能。與僅涉及一個(gè)輸出目 標(biāo)的經(jīng)典回歸任務(wù)相比，多目標(biāo)回歸任務(wù)更難解決。多目標(biāo)回歸的主 要挑戰(zhàn)來(lái)自對(duì)輸入變量和輸出目標(biāo)之間的復(fù)雜關(guān)系進(jìn)行建模，以及利 用多個(gè)輸出目標(biāo)之間的相關(guān)性來(lái)改善預(yù)測(cè)性能的問(wèn)題。

基于此，本發(fā)明設(shè)計(jì)了一種用于多目標(biāo)回歸的目標(biāo)相關(guān)特征構(gòu)建 方法，以解決上述問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種用于多目標(biāo)回歸的目標(biāo)相關(guān)特征構(gòu)建 方法，以解決上述背景技術(shù)中提出的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：一種用于多目標(biāo)回 歸的目標(biāo)相關(guān)特征構(gòu)建方法，包括以下步驟：

S1：給定具有N個(gè)訓(xùn)練樣本的訓(xùn)練數(shù)據(jù)集D＝{(x_i，y_i)}N_i＝1、 學(xué)習(xí)目標(biāo)y_j、隨機(jī)選擇的特征個(gè)數(shù)t和保留葉結(jié)點(diǎn)的百分比P，然后隨 機(jī)構(gòu)建L個(gè)樹(shù)的子集{A₁,...,A_l}，原始特征集X＝{x₁,...,x_d}，訓(xùn)練集 {Tree₁,...,Tree_l}，對(duì)于目標(biāo)y_j，學(xué)習(xí)其目標(biāo)特定特征；

S2：從原始特征集X中隨機(jī)選擇t個(gè)特征組成特征子集A_l，并根 據(jù)特征子集A_l生成一個(gè)新的數(shù)據(jù)集

S3：以為訓(xùn)練集，構(gòu)建一棵決策樹(shù)Tree_l；

S4：將決策樹(shù)Tree_l加入到?jīng)Q策樹(shù)模型Trees中；

S5：重復(fù)步驟S2至S4直到遍歷完L個(gè)樹(shù)的子集為止，計(jì)算各個(gè) 決策樹(shù)中所有葉子結(jié)點(diǎn)的輸出目標(biāo)的方差，并按其目標(biāo)方差進(jìn)行升序 排列，保留前P個(gè)百分比較小的葉子結(jié)點(diǎn)，并將其余葉子結(jié)點(diǎn)的預(yù)測(cè) 值設(shè)置為0，得到?jīng)Q策樹(shù)模型集合Trees；

S6：從Trees獲取第i個(gè)回歸樹(shù)模型Tree_l，并將數(shù)據(jù)樣本x輸入到 回歸樹(shù)模型Tree_l；