[發(fā)明專利]一種基于交互檢測(cè)的矢量數(shù)據(jù)高階特征最優(yōu)變換方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011175930.2
• 申請(qǐng)日: 2020-10-28
• 公開(kāi)（公告）號(hào): CN113704683A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 張?zhí)旖?/a>;尹峰;羅智泉
• 申請(qǐng)（專利權(quán)）人: 香港中文大學(xué)（深圳）
• 主分類號(hào): G06F17/15
• 分類號(hào): G06F17/15;G06N3/08
• 代理公司: 深圳市深聯(lián)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44357
• 代理人: 黃立強(qiáng)

本申請(qǐng)?zhí)峁┮环N基于交互檢測(cè)的矢量數(shù)據(jù)高階特征最優(yōu)變換方法，該方法包括：獲取教師模型；在教師模型進(jìn)行二元特征交互作用檢測(cè)得到二元特征交互作用對(duì)；根據(jù)二元特征交互作用對(duì)進(jìn)行層級(jí)高階特征交互作用對(duì)檢測(cè)，得到高階特征交互作用對(duì)；根據(jù)二元特征交互作用對(duì)和高階特征交互作用對(duì)，構(gòu)建參數(shù)化神經(jīng)網(wǎng)絡(luò)模型；對(duì)神經(jīng)網(wǎng)絡(luò)模型求解，得到最優(yōu)參數(shù)。通過(guò)訓(xùn)練得到教師模型，在教室模型中進(jìn)行特征交互作用檢測(cè)出二元特征交互作用對(duì)及高階特征交互作用對(duì)，進(jìn)而構(gòu)建能夠捕捉到特征之間的交互信息，對(duì)神經(jīng)網(wǎng)絡(luò)模型求解，得到最優(yōu)參數(shù)，使模型優(yōu)度有明顯提高，能夠以參數(shù)化的形式給出特征或特征組合的最優(yōu)變換，便于得到更加準(zhǔn)確的預(yù)測(cè)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及特征工程技術(shù)領(lǐng)域，具體涉及一種基于交互檢測(cè)的矢量數(shù)據(jù)高階特征最優(yōu)變換方法。

背景技術(shù)

在機(jī)器學(xué)習(xí)領(lǐng)域內(nèi)，對(duì)于最優(yōu)變換的研究相對(duì)較為少見(jiàn)，其最主要原因在于設(shè)計(jì)有效算法的困難性。

傳統(tǒng)的方法利用特征的隨機(jī)組合以及一些基本算數(shù)運(yùn)算(加-減-乘-除)和幾類初等變換函數(shù)(如三角函數(shù)，冪函數(shù)，多項(xiàng)式函數(shù)等)的組合。以此得到的新的特征即便數(shù)量巨大也很難“猜中”一個(gè)潛藏(也即最優(yōu))的特征變換，因此傳統(tǒng)算法構(gòu)造了大量無(wú)用的新特征，而它們多數(shù)情況下卻無(wú)法起到提升后續(xù)學(xué)習(xí)任務(wù)性能的作用，卻浪費(fèi)了大量的計(jì)算資源和寶貴的時(shí)間，最重要的是學(xué)到的特征變換對(duì)于解釋業(yè)務(wù)數(shù)據(jù)往往毫無(wú)幫助。

早在1985年，兩位來(lái)自美國(guó)斯坦福大學(xué)的統(tǒng)計(jì)學(xué)家Breiman和Friedman提出了Alternate Conditional Expectation(ACE，交替條件期望)算法用來(lái)尋找矢量數(shù)據(jù)中單個(gè)特征的最優(yōu)變換。最原始的非參數(shù)單變?cè)狝CE算法基于以下線性加和模型：

其中Y、X₁、X₂……X_p都是一維隨機(jī)變量，具體而言Y是輸出變量/標(biāo)簽，X₁……X_p是預(yù)測(cè)變量/輸入特征；θ(Y)、φ₁(X₁)……φ_k(X_k)是變量相對(duì)應(yīng)的變換函數(shù)，∈是θ(Y)中不可被模型解釋的部分，通常被認(rèn)為是一個(gè)獨(dú)立的加性噪聲。

本申請(qǐng)的發(fā)明人在長(zhǎng)期研發(fā)中發(fā)現(xiàn)，上述非參數(shù)單變?cè)狝CE算法存在以下兩個(gè)主要缺陷：a)缺陷一：無(wú)法捕捉數(shù)據(jù)特征間的高維相互作用，例如二元相互作用(X_i，X_j)，三元相互作用(X_i，X_j，X_k)；因此，當(dāng)特征存在高維相互作用的時(shí)候，經(jīng)典的ACE算法會(huì)給出很差的擬合和預(yù)測(cè)結(jié)果；b)缺陷二：雖然可以直觀展示最優(yōu)變換，但卻無(wú)法給出最優(yōu)變換的顯示表達(dá)式；因?yàn)檫@個(gè)問(wèn)題，在預(yù)測(cè)新的數(shù)據(jù)點(diǎn)時(shí)，非參數(shù)ACE算法需要利用臨近的數(shù)據(jù)點(diǎn)和數(shù)據(jù)平滑算法做插值預(yù)測(cè)，造成性能損失。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┮环N基于交互檢測(cè)的矢量數(shù)據(jù)高階特征最優(yōu)變換方法，以解決現(xiàn)有技術(shù)中當(dāng)特征存在高維相互作用的時(shí)候，經(jīng)典的ACE算法會(huì)給出很差的擬合和預(yù)測(cè)結(jié)果的問(wèn)題。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)采用的一個(gè)技術(shù)方案是：提供一種基于交互檢測(cè)的矢量數(shù)據(jù)高階特征最優(yōu)變換方法，所述方法包括：獲取教師模型；在所述教師模型進(jìn)行二元特征交互作用檢測(cè)得到二元特征交互作用對(duì)；根據(jù)所述二元特征交互作用對(duì)進(jìn)行層級(jí)高階特征交互作用對(duì)檢測(cè)，得到高階特征交互作用對(duì)；根據(jù)所述二元特征交互作用對(duì)和所述高階特征交互作用對(duì)，構(gòu)建參數(shù)化神經(jīng)網(wǎng)絡(luò)模型；對(duì)所述神經(jīng)網(wǎng)絡(luò)模型求解，得到最優(yōu)參數(shù)。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)采用的另一個(gè)技術(shù)方案是：提供一種移動(dòng)終端，所述移動(dòng)終端包括相互耦接的處理器和存儲(chǔ)器，所述存儲(chǔ)器用于存儲(chǔ)計(jì)算機(jī)程序，所述處理器用于加載所述計(jì)算機(jī)程序并執(zhí)行。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)采用的又一個(gè)技術(shù)方案是：提供一種計(jì)算機(jī)存儲(chǔ)介質(zhì)，其上存有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序用于實(shí)現(xiàn)上述實(shí)施方式中任一項(xiàng)方法的步驟。